Il Mulino - Rivisteweb

Silvia Sassi
Gli algoritmi nelle decisioni pubbliche tra
trasparenza e responsabilità
(doi: 10.1433/94547)

Analisi Giuridica dell’Economia (ISSN 1720-951X)

Fascicolo 1, giugno 2019

Ente di afferenza:
Universitatale di Milano (unimi)

Copyright c by Società editrice il Mulino, Bologna. Tutti i diritti sono riservati.

Per altre informazioni si veda https://www.rivisteweb.it

Licenza d’uso
L’articolo è messo a disposizione dell’utente in licenza per uso esclusivamente privato e personale, senza scopo
di lucro e senza fini direttamente o indirettamente commerciali. Salvo quanto espressamente previsto dalla
licenza d’uso Rivisteweb, è fatto divieto di riprodurre, trasmettere, distribuire o altrimenti utilizzare l’articolo,
per qualsiasi scopo o fine. Tutti i diritti sono riservati.
 Silvia Sassi

Gli algoritmi nelle decisioni pubbliche

tra trasparenza e responsabilità

1. A COSA SERVONO GLI ALGORITMI E COME

FUNZIONANO
Un pregevole libro dal titolo What Algorithms Want: Imagination in the
Age of Computing1 afferma che l’algoritmo è divenuto talmente centrale
nella nostra vita quotidiana che sta ridefinendo l’attuale contesto non solo
culturale, e quindi sociale ed economico, ma anche politico e giuridico. In
ragione di ciò, si ritiene necessario cominciare a collaborare fattivamente
con le nuove macchine digitali per evitare di soggiacere alle stesse e dive-
nirne «animali domestici»2.
Inevitabile è, quindi, la conoscenza del loro meccanismo. Ecco perché, pri-
ma di inoltrarci nel tema, alcune puntualizzazioni, seppure brevi e rapide
nei tratti, sul funzionamento e sulla utilità degli algoritmi sono doverose.
Dal XXI secolo una parola vecchia è divenuta nuova: e la parola in que-
stione è proprio l’algoritmo.
L’algoritmo è un concetto fondamentale per l’informatica. La sua applica-
zione è ormai pervasiva in ogni campo: gli algoritmi dominano il mercato
azionario, compongono la musica, scrivono lunghe dimostrazioni mate-
matiche, si applicano in campo medico, e così via. L’algoritmo ha le sue
radici nella storia della matematica. I babilonesi furono i primi a usare
formule embrionali di algoritmi matematici per estrarre radici quadrate e
fattorizzare i numeri. Euclide ideò un algoritmo per trovare tra due numeri
il più grande fra i loro divisori. Le origini della disciplina vengono fatte

1
Di E. Finn, pubblicato nel 2017 per i tipi del Massachusetts Institute of Technology, e
tradotto dalla casa editrice Einaudi nel 2018, Che cosa vogliono gli algoritmi. L’immagi-
nazione nell’era dei computer.
2
Ibidem, XX.

109
Analisi Giuridica dell’Economia - 1/2019
Silvia Sassi

risalire a un famoso matematico del IX secolo al-Khwārizmī, che coniò la

parola algoritmo3.
Nel tempo la parola si è diffusa e l’algoritmo è stato descritto come «qual-
siasi insieme di istruzioni matematiche per manipolare dati o per risolvere
un problema»4.
Due i fattori del suo successo. Primo: nel corso della sua evoluzione, il
sistema algoritmico ha mantenuto una caratteristica essenziale: funzio-
na. L’algoritmo fornisce in modo affidabile il risultato atteso entro una
quantità finita di tempo. Secondo: l’apparente trasparenza e semplicità dei
sistemi computazionali porta molti a vederli come veicoli di un processo
decisionale imparziale.
Un atteggiamento più laico, e meno fideistico, nei confronti di questi pro-
cessi e formule matematiche che forniscono risposte alle nostre domande5
solleva, invece, sul piano giuspubblicistico, una serie di questioni.
Con riguardo alla tutela dei diritti e delle libertà fondamentali degli interes-
sati, ad esempio, il fatto che l’algoritmo traduca in risposte domande poste,
individuate e identificate come tali da coloro che sviluppano e ottimizzano
il codice algoritmico comporta una riflessione, per un verso, sulla scelta dei
dati inclusi ed esclusi dagli stessi per raggiungere il risultato da ottenere,
per altro verso, sul ragionamento matematico-informatico sotteso ad esso
volto, appunto, a fornire la risposta. Inoltre, la necessità di aggiornare e
modificare costantemente gli algoritmi, al fine di renderli sempre più efficaci
e adeguati ai nuovi ambienti culturali, politici e giuridici che nel tempo
si sviluppano, genera la possibilità di rendere sempre meno intelligibile
all’uomo il processo decisionale che vi sta a monte. Questa ipotesi non è
affatto peregrina: l’algoritmo è un metodo e, pertanto, tutte le implemen-
tazioni al suo sistema sono date non solo da un codice ma anche da un
intervento, un filtro, che può essere tanto intellettuale quanto tecnico6. È di
solare evidenza che anche quest’ultimo profilo può avere echi dirompenti

3
Così riporta N. Ensmenger, History of Computing: Computer Boys Take Over: Computers,
Programmers, and the Politics of Technical Expertise, Cambridge, MIT Press, 2010, p. 131.
4
E. Finn, op. cit., 5.
5
Definizione di «algoritmi» fornita da Google: Algorithms – Inside Search – Google (visitato
il 18 marzo 2019).
6
Pensiamo a Facebook: un social network che opera attraverso l’algoritmo sociale più
riuscito al mondo per permettere alle persone di mettersi in contatto tra loro. L’algoritmo
di Amazon non è solo fatto di calcolo ma anche di logistica: se originariamente Amazon ha
cercato di migliorare il lavoro, la strategia e le vendite rispetto ai venditori di quasi tutti
i tipi di prodotti di consumo. Lo stesso si può dire per Netflix: da distributore di dvd via

110
 Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

sulla tenuta del sistema democratico. Lo sviluppo attuale di macchine

intelligenti, in grado di apprendere e di assumere, sulla base della loro
esperienza, decisioni in modo autonomo e indipendente dall’intervento
umano7, desta non poche preoccupazioni sulla possibile, sebbene a lungo
termine, sostituzione dell’intelligenza artificiale su quella umana.
Ebbene, senza giungere a conclusioni apocalittiche8, ma nemmeno senza
sottovalutare il fenomeno in atto, sembra opportuno fare qualche riflessione
sull’impiego dei sistemi algoritmici nelle decisioni pubbliche dato il loro
impatto sulle situazioni giuridiche soggettive di soggetti privati.
A tal fine l’analisi qui proposta è intesa ad indagare le (poche) regole e
standard fino a ora predisposti in materia dall’Unione europea, da alcuni
Paesi UE ed extra-UE nonché l’atteggiamento dell’operatore giuridico
innanzi a strumenti che, piaccia o meno, sono e devono essere al servizio
dell’uomo.

2. LA REGOLAMENTAZIONE DELL’UNIONE EUROPEA

IN MATERIA DI ALGORITMI
L’algoritmo – come già detto – opera solo sulla base di dati raccolti.
Di importanza cruciale, dunque, si rivela la raccolta dei dati personali sia
in termini quantitativi sia in termini qualitativi. Sotto il primo profilo, è
evidente che la maggiore quantità di informazioni raccolte comporta un
maggior tasso di successo della funzione algoritmica, che non è predittiva
ma probabilistica9. Nella cifra della sua affidabilità, invece, fondamentale

posta si sta ora imponendo per la conquista del mercato dello streaming on line: il tutto è
accaduto con l’evoluzione del primo tipo di algoritmo.
7
Sull’impatto positivo del machine learning sui sistemi d’intelligenza artificiale v. H. Surden,
Machine Learning and Law, in Wash. L. Rev., 89, 2014, pp. 87 ss.
8
Al riguardo cfr. V. Frosini, Cibernetica, diritto e società, Milano, Comunità, 1968, che
riteneva, a ragion veduta, che ciò non è possibile perché significherebbe l’esistenza di un
essere superiore.
9
Al riguardo E. Rulli (Giustizia predittiva, intelligenza artificiale e modelli probabilistici.
Chi ha paura degli algoritmi?, in AGE, 2, 2018, p. 539) sostiene che l’aggettivo «preditti-
vo» relativo alle risposte che gli strumenti algoritmici predispongono, è «inappropriato».
Secondo l’A. «gli applicativi in parola […] non predicono il futuro, ma offrono uno o una
serie di risultati probabili».

111
Silvia Sassi

è la qualità del dato, ovvero la sua veridicità nonché la capacità di svilup-

pare Big Data Analitycs10.
Pertanto, affinché le nuove tecnologie possano realmente contribuire al
progresso economico e sociale, al rafforzamento e alla convergenza delle
economie e al benessere delle persone fisiche, consentendo «tanto alle
imprese private quanto alle autorità pubbliche di utilizzare dati personali
[…] nello svolgimento delle loro attività»11, fondamentale si configura un
assetto normativo solido in materia di protezione dei dati.
Sulla scia di queste, e altre, considerazioni12, il Parlamento europeo e il Con-
siglio il 27 aprile del 2016 hanno adottato il regolamento (UE) 2016/679
«relativo alla protezione delle persone fisiche con riguardo al trattamento
dei dati personali, nonché alla libera circolazione di tali dati e che abroga
la direttiva 95/46/CE (regolamento generale sulla protezione dei dati)»13.
Con riguardo specifico alla disciplina del processo decisionale automatiz-
zato relativo alle persone fisiche, compresa la profilazione14, il reg. n. 679
distingue tra «decisioni interamente automatizzate», da un lato, e decisioni
«non interamente» automatizzate, dall’altro lato: mentre le prime sono, in
linea di principio, vietate, le seconde sono ammesse.
In particolare, l’art. 22 del reg. n. 679 – al fine di scongiurare che il processo
decisionale automatizzato, inclusa la profilazione, possa produrre effetti
giuridici che riguardano l’interessato o tali da incidere in modo sensibil-

10
In effetti, come ben spiega A. Moretti, Algoritmi e diritti fondamentali della persona. Il
contributo del regolamento (UE) 2016/679, in Dir. Inf., 4/5, 2018, pp. 799-780, a una
determinata quantità di dati deve corrispondere anche una capacità della loro elabora-
zione. L’impiego dei Big Data Analytics «rappresenta per i soggetti pubblici l’opportunità
di identificare con precisione le esigenze dei cittadini e di realizzare, conseguentemente,
l’erogazione di servizi che assicurino un maggior benessere per la collettività».
11
V. considerando (6) del reg. n. 679/2016.
12
Cfr. i considerandi (1)-(5) e (7) del reg. n. 679/2016.
13
Per un primo e approfondito commento sul regolamento n. 679 del 2016, altrimenti
detto regolamento GDPR, v. F. Pizzetti (a cura di), Intelligenza artificiale e protezione dei
dati personali, Torino, Giappichelli, 2018.
14
Ai sensi dell’art. 4.4 del reg. n. 679/2016 per «profilazione» si intende: «Qualsiasi forma
di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati perso-
nali per valutare determinati aspetti personali relativi a una persona fisica, in particolare
per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione
economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento,
l’ubicazione o gli spostamenti di detta persona fisica».

112
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

mente analogo sulla sua persona15 – prevede il diritto dell’interessato a

non essere sottoposto a una decisione basata unicamente sul trattamento
automatizzato dei dati. L’impiego esclusivo degli algoritmi nella decisione
pubblica, senza cioè il coinvolgimento umano, è consentito solo a tre con-
dizioni: 1) se necessario per la conclusione o l’esecuzione di un contratto
tra l’interessato e un titolare del trattamento16; 2) se autorizzato dal diritto
europeo o dello Stato membro cui è soggetto il titolare del trattamento17; 3)
se vi è consenso esplicito dell’interessato18. Anche in questi casi, tuttavia,
non viene meno il dovere in capo al titolare del trattamento di adottare una
serie di misure poste a tutela dei diritti, delle libertà e degli interessi legit-
timi dell’interessato. Tra le garanzie previste per contrastare un eventuale
potere dell’algoritmo19 si annoverano: il diritto di ricevere dal titolare del
trattamento informazioni significative sulla logica sottesa alla decisione20,
sull’importanza e sulle conseguenze previste per l’interessato21; il diritto
di ottenere l’intervento umano; il diritto di esprimere la propria opinione
e, infine, il diritto di contestare la decisione dell’elaboratore elettronico22.

15
Al riguardo le Linee guida sul processo decisionale automatizzato relativo alle persone
fisiche e sulla profilazione ai fini del regolamento 2016/679, del 3.10.2017, ora nella loro
versione emendata e adottata dal Gruppo di lavoro articolo 29 per la protezione dei dati
il 6.2.2018 (17/IT – WP 251 rev.01), precisano che si ha un «effetto giuridico» quando
la decisione incide «sui diritti giuridici di una persona, quali la libertà di associarsi ad
altre persone, di votare nel contesto di un’elezione o di intraprendere azioni legali» ovvero,
anche, quando la stessa influisce sullo «status giuridico di una persona o sui suoi diritti
ai sensi di un contratto». Diversi esempi sono riportati da queste Linee guida, pp. 23-24.
16
Art. 22.2, lett. a).
17
Art. 22.2, lett. b).
18
Art. 22.2, lett. c).
19
Icasticamente S. Rodotà (Il diritto di avere dei diritti, Roma-Bari, Laterza, 2015, p. 33)
parlava di «dittatura dell’algoritmo».
20
Con riguardo all’interpretazione del diritto dell’interessato di «essere informato» la
dottrina non è unanime: da una parte, vi è chi sostiene l’esistenza di un simile diritto (B.
Goodman, S. Flaxman, European Union Regulations on Algorithmic Decision-Making
and a «Right to Explanation», in AI Magazine 38, 2016, pp. 1 ss.; A.D. Selbst, J. Powels,
Meaningful Information and the Right to Explanation, in International Data Privacy L. 7,
2017, pp. 1 ss.; G. Malgieri, G. Comandé, Why a Right to Legibility of Automated Decision.
Making Exists in the General Data Protection Regulation, in International Data Privacy L.
7, 2017, pp. 213 ss., dall’altra parte, vi è chi non lo accoglie (S. Wachter, B. Mittelstadt, L.
Floridi, Why a Right to Explanation of Automated Decision Making Does Not Exist in the
General Data Protection Regulation, in International Data Privacy L., 7, 2017, pp. 76 ss.
21
Artt. 13.2, lett. f), 14.2, lett. g), 15.1, lett. h, reg. n. 679.
22
Art. 22.3 del reg. n. 679.

113
Silvia Sassi

In ragione di tutto ciò, chiaro è l’obiettivo del regolamento: anteporre

l’uomo alla macchina algoritmica, o se si vuole, porre la macchina in mo-
dalità servente all’uomo. E perché ciò sia possibile si profila necessaria una
regolamentazione chiara e certa, posta primariamente a tutela dei diritti
fondamentali della persona e basata, quindi, sui principi della trasparenza23
e della responsabilità24.
Con il medesimo approccio antropocentrico è stata impostata una serie di
atti europei successivi al regolamento n. 679.
Sia di esempio la risoluzione del Parlamento europeo del 16 febbraio 2017,
recante raccomandazioni alla Commissione concernenti norme di diritto
civile sulla robotica25, che propone un equilibrato, per quanto possibile,
contemperamento tra l’intervento della macchina e quello dell’uomo26. In
esso ripetutamente si afferma l’esigenza che l’uomo mantenga «in qualsiasi
momento il controllo sulle macchine intelligenti»27. Esigenza che, nella
fattispecie dei processi decisionali automatizzati e algoritmici, si declina
con la «possibilità di verifica e di controllo umani»28.
Presupposto essenziale per la realizzazione di un simile risultato è la sussi-
stenza di un corpus normativo basato sui «valori intrinsecamente europei,

23
Principio oramai consolidato dopo l’entrata in vigore del Trattato di Lisbona. Al riguardo
cfr. gli artt. 1 e 11.2 del TUE nonché art. 15 TFUE. Per approfondimenti sull’applicazione
del principio di trasparenza al reg. n. 679 del 2016 v. Gruppo di lavoro articolo 29 per
la protezione dei dati, Linee guida sulla trasparenza ai sensi del regolamento 2016/679,
adottate il 29.11.2017. Versione emendata, adottata l’11.4.2018.
24
Il principio di responsabilizzazione del titolare del trattamento dati è sostanziale al
principio di trasparenza. La trasparenza delle operazioni di trattamento nonché delle
informazioni relative al trattamento corretto dei dati consente, infatti, agli interessati di
imputare la responsabilità al titolare e al responsabile del trattamento dei dati e di esercitare
il controllo sui dati personali che li riguardano, dando o revocando il consenso informato
e attivando i diritti degli stessi interessati. Sul punto v. Gruppo di lavoro articolo 29 per la
protezione dei dati, Linee guida sulla trasparenza ai sensi del regolamento 2016/679, cit., 4.
25
P8_TA(2017)0051, Norme di diritto civile sulla robotica. Per un commento intorno a
questa risoluzione, e le sue implicazioni sul piano della responsabilità civile v. L. Coppini,
Robotica e intelligenza artificiale: questioni di responsabilità civile, in Pol. Dir., 4, 2018.
26
La risoluzione nei considerando P e U ritiene, infatti, che pur nel timore che «a lungo
termine l’intelligenza artificiale [possa] superare la capacità intellettuale umana», le regole
non debbano ostacolare il processo di ricerca, innovazione e sviluppo della rivoluzione
tecnologia in atto.
27
P.to 3 della risoluzione PE.
28
Considerando Q della risoluzione PE.

114
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

universali e umanistici»29 che preservino «la dignità, l’autonomia e l’au-

todeterminazione degli individui»30 a tutela dei principi di eguaglianza,
del giusto processo, della trasparenza, della responsabilità nonché della
comprensibilità dei processi decisionali31. A tal fine la risoluzione propone
una serie di raccomandazioni tra le quali: 1) stabilire una definizione co-
mune europea di robot autonomo e intelligente; 2) prevedere un sistema
di registrazione dei robot intelligenti; 3) elaborare una responsabilità civile
applicabile ai robot; 4) stilare una carta sulla robotica; 5) formulare un
codice etico-deontologico degli ingegneri robotici che garantisca la traspa-
renza e il rispetto del legittimo diritto di accesso all’informazione di tutti i
soggetti interessati; 6) predisporre un codice per i comitati etici di ricerca;
e 7) sviluppare una licenza per i progettisti e per gli utenti32.
Anche la recente comunicazione della Commissione europea del 25 aprile
2018 sull’«Intelligenza artificiale per l’Europa»33 si informa sulla logica
dei precedenti atti, ponendo, quindi, la macchina al servizio dell’uomo34.
Questa iniziativa, dopo avere definito l’intelligenza artificiale come un in-
sieme di «sistemi che mostrano un comportamento intelligente analizzando
il proprio ambiente e compiendo azioni, con un certo grado di autonomia,
per raggiungere specifici obiettivi»35, ribadisce che l’Unione europea deve

29
Considerando H della risoluzione PE.
30
Considerando O della risoluzione del PE.
31
Considerando H della risoluzione del PE.
32
Tutte queste «raccomandazioni concernenti il contenuto della proposta richiesta» sono
allegate alla risoluzione del PE.
33
Comunicazione della Commissione al Parlamento europeo, al Consiglio, al Comitato
economico e sociale europeo e al Comitato delle Regioni, L’Intelligenza artificiale per
l’Europa, Bruxelles, 25.4.2018, COM(2018)237 final. Tra le molteplici riflessioni, in punta
di diritto, sull’intelligenza artificiale, cfr. M.U. Scherer, Regulating Artificial Intelligence
Systems: Risks, Challenge, Competences, and Strategies, in Har. J.L. & Tech., 29, 2016, pp.
354 ss.; C. Casonato, Intelligenza artificiale e diritto costituzionale: prima considerazioni,
in DPCE, n. speciale, 2019, 101 ss. e A. Simoncini, S. Suweis, Il cambio di paradigma
nell’intelligenza artificiale e il suo impatto sul diritto costituzionale, in Riv. filosofia dir.,
1/2019, pp. 87 ss.
34
La Commissione europea ha di recente commissionato una serie di studi in materia, tra
i quali v. M. Craglia (ed.), Artificial Intelligence. A European Perspective, Luxembourg,
2018. Anche il Parlamento europeo ha analizzato il fenomeno in atto: cfr. G. Sartor,
Artificial Intelligence: Challenges for EU Citizens and Consumers, PE 631.043, Brussels,
January 2019.
35
Ibidem, p. 1. Una piccola notazione storica ripresa dal testo di J.-M. Sauvé, Le juge
administratif et l’intelligence artificielle, Conférence des présidents des jurisdictions ad-
ministratives, Rennes, Vendredì 20 avril 2018, 1: il termine intelligenza artificiale, di cui

115
 Silvia Sassi

assicurare un quadro etico e giuridico che, nel promuovere l’innovazione,

tuteli, al contempo, i diritti e le libertà fondamentali dei cittadini, tra cui la
vita privata, la dignità, la tutela dei consumatori e la non discriminazione.
In questa prospettiva si impone, dunque, al nuovo contesto normativo il
rispetto dei principi di trasparenza e di responsabilità. Solo così facendo
il singolo sarà in grado di sapere se sta comunicando con una macchina
o con un essere umano36, e, per conseguenza, consentire allo stesso di
controllare i dati generati mediante l’utilizzo di questi strumenti, per un
verso, e, responsabilizzare il titolare o il responsabile del trattamento dei
dati relativamente agli obblighi loro imposti37, per altro verso.

3. REGOLE, PRINCIPI E STANDARD PER L’ADOZIONE

DI DECISIONI (INTERAMENTE) AUTOMATIZZATE
IN FRANCIA E IN ITALIA
L’ordinamento francese è certamente uno tra quelli degli Stati membri
dell’Unione europea che risulta conforme al regolamento europeo n.
679/201638, ed in particolare all’art. 22. E ciò, nonostante la loi n. 2016-
1321 du 7 octobre 2016 pour une République numérique39 non ponga una
distinzione, al pari di quanto previsto dal citato atto europeo, tra decisioni
interamente automatizzate e quelle automatizzate: essa si preoccupa,
piuttosto, di disciplinare le decisioni pubbliche assunte sulla base di un
algoritmo, approntando una serie di garanzie a tutela dei diritti e delle
libertà fondamentali dell’interessato in un quadro governato dai principi
di trasparenza e di responsabilità.

ora si tentano diverse definizioni, è stato forgiato nel 1955 da due informatici americani,
John McCarthy e Claude Shannon, durante una conferenza dagli stessi organizzata sul-
l’«intelligenza artificiale» tenuta nel 1956.
36
V. comunicazione della Commissione, L’intelligenza artificiale, cit., p. 16.
37
Per la cui implementazione, la Commissione prevede una serie di impegni, tra i quali,
relazionare entro il 2019 sui quadri normativi in materia di responsabilità e sicurezza in
relazione all’IA, all’Internet delle cose e della robotica con lo scopo di indicare le impli-
cazioni più ampie, le potenziali lacune e fornire i relativi orientamenti. V. comunicazione
della Commissione, L’intelligenza artificiale, cit., p. 18.
38
Per un ricognizione dell’adeguamento meramente normativo del reg. n. 679 del 2016
da parte dei Paesi aderenti all’UE v. Baker McKenzie, GDPR National Legislation Survey
2018, in www.bakermckenzie.com.
39
La cui ultima versione consolidata è del 22.3.2019. Per primi commenti cfr. P. Besse, C.
Castets-Renard, A. Garivier, Loyauté des Décision Algorithmiques, in https://hal.archives-
ouvertes-fr/hal-01544701 e J.-M. Sauvé, op. cit.

116
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

Più specificamente, la loi n. 2016-1321 permette all’autorità pubblica di

assumere una decisione sulla base di un algoritmo purché l’interessato ne
sia esplicitamente informato (art. 4). In tal guisa, il décret n. 2017-33040,
adottato il 14 marzo 2017 dal Conseil d’Etat in applicazione della loi n.
2106-1321, dispone che l’amministrazione deve comunicare le regole sot-
tese dell’algoritmo nonché le sue principali caratteristiche (art. 1, alinea
1)41. Peraltro, l’amministrazione, se lo richiede l’interessato, è obbligata a
fornire, in forma intelligibile, ulteriori informazioni, tra le quali: il grado
e il modo in cui l’algoritmo ha inciso sulla decisione; i dati trattati e le
loro fonti; i criteri utilizzati dal trattamento e, se del caso, il peso che gli
stessi hanno avuto sulla decisione; le operazioni effettuate. Il tutto com-
patibilmente con le esigenze di riservatezza poste dalla legge stessa (art.
1, alinea 2 décret n. 2017-330).
Tre sono, dunque, le condizioni con cui l’ordinamento francese, confor-
memente anche a quanto statuito dal Conseil Constitutionnel con la sua
décision n° 2018-765 del 12 giugno 201842, consente all’autorità pubblica
di assumere una decisione che produce effetti giuridici su una persona,
ancorché in modo significativo, sulla sola base del trattamento automa-
tizzato di dati personali.
Anzitutto, la decisione amministrativa deve menzionare esplicitamente
che è stata adottata sul fondamento di un algoritmo e, nel caso in cui
l’interessato ne faccia richiesta, l’amministrazione deve essere in grado di
comunicare le principali caratteristiche della logica sottesa a esso. Sicché
la decisione assunta sulla base di un sistema algoritmico, i cui principi
operativi non possono essere comunicati perché violano i segreti o gli in-
teressi di cui al par. 2 dell’art. 311-5 del code des relations entre le public
et l’administration, è vietata.
In secondo luogo, la decisione amministrativa che grava su una posizione
giuridica soggettiva deve poter essere oggetto di ricorso amministrativo43.
Nel qual caso, l’amministrazione adita è obbligata ad assumere la decisione

40
«Décret relatif aux droits des personnes faisant l’objet de decisions individuelles prises
sur le fondement d’un traitment algorithmique», entrato in vigore il 17.3.2017 e più volte
modificato.
41
Il succitato decreto ha introdotto l’art. R. 311-3-1-1 del code des relations entre le
public et l’administration che recita: «La mention explicite prèvue […] rappelle le droit
[…] d’obtenir la communication […]».
42
In www.conseil-constitutionnel.fr/decision/2018/2018765DC.htm.
43
V. al riguardo il capitolo I del titolo I del libro IV del code des relations.

117
Silvia Sassi

senza fare più esclusivo affidamento sul sistema algoritmico. Peraltro, il

giudice è tenuto a richiedere all’amministrazione di comunicare l’algoritmo.
La terza condizione che limita l’assunzione di una decisione interamente
automatizzata si attua laddove il sistema algoritmico opera sul trattamento
di dati sensibili di cui al par. 1 dell’art. 8 della loi du 6 janvier 1978, vale
a dire su dati personali che rivelano l’origine etnica, le opinioni politiche,
il credo religioso, le convinzioni filosofiche, l’adesione sindacale, i dati ge-
netici, biometrici e sanitari, o relativi alla vita o all’orientamento sessuale
di una persona fisica.
Vi è da precisare, infine, che il Conseil constitutionnel nella sua decisione
del 2018 ha chiaramente affermato che il responsabile del trattamento
dei dati deve garantire il controllo del trattamento algoritmico e delle sue
evoluzioni al fine di essere in grado di spiegare, in modo dettagliato e in
forma intelligibile, le modalità attraverso cui è stato attuato il trattamento
dei dati nei confronti dell’interessato. Sicché sono vietate le decisioni pub-
bliche che incidono su una posizione giuridica basate esclusivamente su
algoritmi impostati sul meccanismo dell’apprendimento automatico (noto
come machine learning), ovvero che modifichino essi stessi le regole da
applicare, senza che vi sia alcun intervento e controllo umano e in assenza
di una convalida da parte del responsabile del trattamento.
Alla luce di tutto ciò, è possibile dunque sostenere che le garanzie appre-
state dal legislatore francese a tutela dei diritti e delle persone soggette
a decisioni amministrative individuali prese sul fondamento esclusivo di
un algoritmo sono indubbiamente coerenti al dettato di cui all’art. 22 del
reg. n. 679 nonché allo spirito della regolamentazione europea in generale.
Sebbene sotto altra dimensione, anche l’operatore giuridico italiano sembra
seguire l’impostazione proposta da quello europeo nella parte in cui, in
particolare, pone la robotica – laddove incida sensibilmente su posizioni
giuridiche soggettive di soggetti privati – in funzione servente all’attività
umana.
In Italia, la questione delle decisioni pubbliche interamente automatizzate,
basate sull’impiego esclusivo di un algoritmo, è stata affrontata in prima
battuta dal giudice amministrativo data l’assenza, all’epoca dei fatti, di
disposizioni legislative specifiche in materia44. Una serie di sentenze del

44
Attualmente presso l’Agenzia per l’Italia Digitale è stata istituita una task force sull’In-
telligenza artificiale che ha, per l’appunto, prodotto un «Libro bianco sull’intelligenza
artificiale», in https//ia.italia.it/assets/librobianco.pdf.

118
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

TAR Lazio45, confermate peraltro di recente da una sentenza del Consiglio

di Stato46, ha chiarito, in un crescendo, il tipo di relazione intercorrente
tra cittadino-pubblica amministrazione-macchina algoritmica sulla base
del rapporto, da sempre dialettico, tra il diritto di accesso e il principio
di trasparenza.
Anzitutto, una volta affermato che l’algoritmo, sebbene non concretizzi
in sé un atto amministrativo, è ad esso sostanzialmente assimilabile, è
stato riconosciuto47 pienamente legittimo, ai sensi dell’art. 22 della l. n.
241/1990, il diritto di accesso agli «atti amministrativi a elaborazione
elettronica», giacché funzionale alla tutela giurisdizionale e strumento di
attuazione del diritto all’informazione dei cittadini48. Tale riconoscimento
comporta, dunque, secondo il giudice amministrativo, in capo all’autorità
pubblica il dovere di fornire non solo tutte le istruzioni relative al funzio-
namento dell’algoritmo, assicurando la comprensibilità del funzionamento
del software anche al cittadino comune, ma anche il linguaggio informatico
sorgente (c.d. codice sorgente) del sistema algoritmico, vale a dire «l’iter
logico sulla base del quale l’atto stesso [è stato] emanato per mezzo di
procedure automatizzate quanto al relativo contenuto dispositivo»49.
In secondo luogo, se l’azione amministrativa robotizzata, quale espres-
sione del potere pubblico di autorganizzazione, non ha destato profili
di illegittimità, il giudice amministrativo ha giudicato inammissibile la
surrogazione dell’attività amministrativa da parte di una macchina al-
goritmica nel momento propriamente decisionale50. Al riguardo è stato

45
È in particolare la sezione III bis del TAR Lazio che ha adottato diverse sentenze relative
a provvedimenti di trasferimenti e/o assegnazioni del personale docente in sede di mobilità
nazionale sulla base del piano straordinario di cui alla l. n. 107/2015 (Buona Scuola)
adottati da un sistema informatico che ha elaborato le informazioni fornite sulla base di
un algoritmo: n. 3742/2017; n. 9224/2018; n. 9225/2018; n. 9226/2018; 9227/2018;
n. 9228/2018; n. 9229/2010; n. 9230/2018.
46
Consiglio di Stato, sez. IV, n. 2270 dell’8.4.2019.
47
TAR Lazio, sez. III bis, n. 3742 del 21.3.2017, cit.
48
Anche gli atti coperti dal diritto d’autore sono ritenuti accessibili, pur affermandosi
la responsabilità dell’interessato per eventuali utilizzi diversi da quelli strumentalmente
collegati alla tutela della propria posizione giuridica: TAR Lazio, sez. III bis, 22.3.2017,
n. 3769 e n. 3742/2017, cit.
49
TAR Lazio, sez. III bis, sent. n. 3769/2017, cit.
50
Sulla decisione robotica in generale v. M. Luciani, La decisione giudiziaria robotica, in
Rivista AIC, 3, 2018 mentre sul rapporto tra decisione e giudizio amministrativo v. F. Patroni
Griffi, Decisione robotica e il giudice amministrativo, in www.giustizia-amministrativa.it
(28.8.2018). Cfr. anche L. Viola, L’intelligenza artificiale nel procedimento e nel processo

119
Silvia Sassi

affermato che l’attività amministrativa, in senso soggettivo, non può essere

demandata «ad un impersonale algoritmo»51. Nessuna «complicatezza o
ampiezza […] di una procedura amministrativa può legittimare la sua
devoluzione ad un meccanismo informatico o matematico del tutto imper-
sonale e orfano di capacità valutazionali delle singole fattispecie concrete,
tipiche invece della tradizionale e garantistica istruttoria procedimentale
che deve informare l’attività amministrativa, specie ove sfociante in atti
provvedimentali incisivi di posizioni giuridiche soggettive di soggetti pri-
vati e di conseguenziali ovvie ricadute anche sugli apparati e gli assetti
della pubblica amministrazione»52. Il vulnus è relativo agli istituti della
partecipazione, di trasparenza, dell’obbligo di motivazione delle decisioni
amministrative, con il risultato di una compressione anche delle correlate
garanzie processuali che declinano sul versante del diritto di azione e di
difesa in giudizio di cui all’art. 24 della Cost.
In altri termini, il giudice amministrativo ritiene legittimo l’intervento
dello strumento informatico nell’ambito del procedimento amministrativo
purché esso sia posto in funzione servente e strumentale rispetto all’attività
svolta dal titolare del procedimento, che è, e rimane, persona fisica: «le
procedure informatiche, finanche ove pervengano al loro maggior grado
di precisione e addirittura alla perfezione, non possono mai soppiantare,
sostituendola davvero appieno, l’attività cognitiva, acquisitiva e di giudizio
che solo un’istruttoria affidata a un funzionario persona fisica è in grado
di svolgere»53.
L’impiego di sistemi algoritmi non può dunque essere motivo per eludere
i principi che regolano lo svolgersi dell’azione amministrativa. L’uso del
software e dell’algoritmo è ammesso solo nel rispetto dei principi generali
di pubblicità, trasparenza, ragionevolezza, proporzionalità e dei principi
che regolano l’azione amministrativa54.
I principi del giusto procedimento amministrativo di cui alla l. n. 241
del 1990, presidiati dagli artt. 3, 24 e 97 della Cost., oltre che dall’art. 6

amministrativo: lo stato dell’arte, in Foro amm. (II), 9, 1.12.2018, p. 1598 e G. Avanzini,

Decisioni amministrative e algoritmi informatici. Predeterminazione analisi predittiva e
nuove forme di intellegibilità, Napoli, ESI, 2019; S. Civitarese Matteucci, «Umano, troppo
umano». Decisioni amministrative automatizzate e principio di legalità, in Dir. pubb.,
1/2019, pp. 5 ss.
51
TAR Lazio, sez. III bis, del 10.9.2018, n. 9230, cit.
52
TAR Lazio, sez. III bis, n. 9227/2018, cit.
53
TAR Lazio, sez. III bis, n. 9227/2018, cit.
54
Così Consiglio di Stato, sent. n. 2270/2019, cit.

120
 Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

della Convenzione europea dei diritti dell’uomo, tenacemente difesi dal

giudice amministrativo, non vengono certamente disattesi dal legislatore
italiano che, solo di recente, si è adeguato al nuovo regolamento europeo
con il d.lgs n. 101, adottato il 10 agosto 201855. Con tale atto, esso si è
limitato a integrare, per la parte che qui interessa, il «Codice in materia
di protezione dei dati personali, recante disposizioni per l’adeguamento
dell’ordinamento nazionale al regolamento (UE) 2016/679 del Parlamento
europeo e del Consiglio, del 27 aprile 2016, relativo alla protezione delle
persone fisiche con riguardo al trattamento dei dati personali, nonché
alla libera circolazione di tali dati e che abroga la direttiva 95/46/CE
(regolamento generale sulla protezione dei dati)» nella parte relativa ai
diritti dell’interessato di cui all’art. 22 del reg. n. 679, sotto due profili:
specificando, da un lato, i diversi casi in cui essi possono essere vietati,
limitati o ritardati56; attribuendo, dall’altro, al Garante della privacy la
regolamentazione del procedimento relativo all’esame dei reclami, nonché
modalità semplificate e termini abbreviati per la trattazione di reclami
che abbiano ad oggetto la violazione, anche, dell’art. 22 del reg. n. 679.

4. IL RAPPORTO ALGORITMO-DECISIONI PUBBLICHE

IN USA: LO STATO DELL’ARTE
In applicazione del «right to know» il rappresentante del Bronx City nel
Council of New York, James Vacca57, è riuscito a far approvare all’una-
nimità l’11 dicembre 2017 A Local Law in relation to automated decision
systems used by agencies58.

55
«Disposizioni per l’adeguamento della normativa nazionale alle disposizioni del regola-
mento (UE) 2016/679 del Parlamento europeo e del Consiglio, del 27 aprile 2016, relativo
alla protezione delle persone fisiche con riguardo al trattamento dei dati personali, nonché
alla libera circolazione di tali dati e che abroga la direttiva 95/46/CE (regolamento generale
sulla protezione dei dati)».
56
Cfr. artt. 2-undecies; 2-duocecies, 130, c. 5, 132, c. 3
57
In particolare James Vacca ha preso spunto da un’indagine effettuata da ProPublica
sugli algoritmi che sulla base di una matrice razziale sono stati utilizzati per valutare il
rischio criminale degli imputati: https://www.propublic.org/article/machine-bias-risk-
assessments-in-criminal-sentencing.
58
E. Zima, Could New York City’s AI Transparency Bill Be a Model for the Country?, in
http://www.govtech.com/Could-New-York-Citys-AI-Transparency-Bill-Be-a-Model-for-
the-Country.html (January 4, 2018).

121
 Silvia Sassi

Prima di descrivere il contenuto della legge, e capire pienamente la sua

portata innovativa, è utile ricordare, in questa sede, il dibattito dottrinale
statunitense attualmente in corso in materia.

4.1. Le posizioni dottrinali

Data la pervasività con cui gli algoritmi sono entrati nella vita sia privata
sia pubblica dei cittadini americani, la dottrina statunitense non ha dubbi
sul fatto che debbano essere trovate, in punto di diritto, alcune soluzioni
per scongiurare che siano assunte decisioni automatizzate inique e discri-
minatorie59 che comportino «a new feudal order of unaccontable reputa-
tional intermediaries»60. Oggetto di discussione sono, semmai, e ancora,
le soluzioni giuridiche da adottare. La dialettica delle opinioni in merito si
fonda, però, su un presupposto comune: introdurre forme di controllo sugli
algoritmi nel rispetto del principio del giusto processo e della responsabilità.
Al riguardo, da una parte, vi chi è propone di conferire ai regolatori fe-
derali61 pieno accesso al controllo degli algoritmi per permettere loro di
revisionarli laddove questi comportino pregiudizi o altri dinieghi di giu-
stizia. Il controllo dovrebbe essere effettuato sulla base di una valutazione
di impatto in tema di privacy e libertà civili per identificare adeguate
misure dei rischi che possono derivare. In quest’ottica deve inquadrarsi
quella parte di dottrina che62, ispirandosi al Food and Drug Administration
(FDA), auspica l’istituzione di una agenzia dedicata a supervisionare lo
sviluppo, la distribuzione e l’uso degli algoritmi. Un’agenzia di regolazione
risulta necessaria proprio in questa prima fase di espansione dell’impiego
degli algoritmi per porre freno a rischi che nel futuro potrebbero essere
difficilmente governabili.
Dall’altra parte, vi è chi suggerisce di introdurre un «technological due
process», ovvero «a framework of mechanism capable of enhancing the
transparency, accountability, and accuracy of rules embedded in automated
decision-making systems»63. La costruzione di un simile processo presup-

Per riferimenti v. C. Coglianese, D. Lehr, Regulating by Robot; Administrative Decision

59

Making in the Machine-Learning Era, in Geo. L. J., 105, 2017, pp. 1147 ss.
60
Così D.K. Citron, F. Pasquale, The Scored Society: Due Process for Automated Predic-
tions, in Wash. L. Rev., 89, 2014, p. 19.
61
Sulla scia, ad esempio, come citano D. Keats Citron, F. Pasquale, op. cit., p. 20, della
Federal Trade Commission quanto ai sistemi di credit-scoring.
62
A. Tutt, An FDA for Algorithms, in Admin. L. Rev., 69, 2017, pp. 83 ss.
63
D.K. Citron, Technological Due Process, in Wash. L. Rev., 85, 2008, p. 1250.

122
 Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

pone, anzitutto, un assetto regolativo costituito da fonti di natura sia hard

sia soft, ricavabili dalla prassi delle declinazioni strutturali dei principi ad
esso sottesi. Necessaria, poi, si configura l’identificazione di misure proce-
dimentali «to prevent procedurally defective rule-making and arbitrary
government decision making»64. In questa dimensione, imprescindibile è
rendere conoscibile, cioè trasparente in tutti i suoi passaggi, la decisione
robotica: non solo i soggetti che hanno posto in essere il procedimento e
la logica impiegata dagli stessi per la sua elaborazione ma anche il codice
sorgente del sistema algoritmico. Quest’ultimo profilo, in particolare, è
talmente fondamentale da spingere la dottrina a proporre di condizionare
i finanziamenti federali in ragione dell’apertura o meno del codice stesso.

4.2. La local law di NYC

Una sintesi parziale delle posizioni dottrinali sopra citate si ritrova nella
legge n. 49 del 2018, prima nel suo genere negli Stati Uniti d’America65,
che affronta il problema della discriminazione algoritmica.
Per raggiungere un simile scopo, questa Local Law, inserita ora nella New
York City Charter, istituisce una Task Force, composta di esperti in pro-
gettazione algoritmica e implementazione, nonché membri di associazioni
senza scopo di lucro e dell’amministrazione comunale, cui affida precipua-
mente due compiti: quello di mappare i sistemi decisionali automatizzati
utilizzati dal governo della Città, da un lato, e quello di elaborare una serie
di raccomandazioni per prevenire i complessi problemi giuridici, tecnici
e sociali derivanti dal costante impiego da parte delle agenzie municipali
degli stessi, dall’altro lato.
In ragione di ciò, la legge de qua chiarisce, anzitutto, nella section 1.a., che
cosa si intende per «sistema decisionale automatizzato», ovvero l’imple-
mentazione «computerizzata di algoritmi, includendo quelle che derivano
dall’apprendimento automatico o da altre tecniche di processo dei dati o
d’intelligenza artificiale, impiegati per produrre o aiutare ad assumere
decisioni», nonché per «sistema di decisione automatizzato di agenzia»,
ovvero «un sistema decisionale automatizzato utilizzato da un’agenzia per
fare o aiutare a prendere decisioni riguardanti regole, politiche o azioni
implementate che hanno un impatto sul pubblico».

64
Ibidem, p. 1258.
65
Su questo modello si sono poi mossi altri Stati, come ad esempio il Vermont, la Penn-
sylvania e lo Stato della California, come rilevano una serie di stakholders di varia natura
in una lettera inviata ai membri della Task Force il 1.3.2019: New York City’s Automated
Decision Systems Task Force – Public Engagement, in www.nyclu.org/publications.

123
Silvia Sassi

Inoltre, per rendere eque, responsabili e trasparenti le decisioni assunte

dalle agenzie della Città di New York sulla base di algoritmi, viene dato
incarico a una Task Force, come appena detto, di predisporre, entro tempi
rigorosi e stringenti, raccomandazioni al riguardo (section 1.b.1).
Più specificamente, sotto i profili dell’equità e della responsabilità, la
Task Force deve, anzitutto, stabilire i criteri per identificare quali sistemi
decisionali automatizzati di agenzia saranno soggetti alle procedure rac-
comandate dalla stessa. In secondo luogo, deve sviluppare procedure per
determinare se un sistema algoritmico incide in modo iniquo su posizioni
giuridiche soggettive o su un segmento della popolazione in base all’età,
alla razza, al credo, al colore, alla religione, all’origine nazionale, al genere,
alla disabilità, allo stato civile, allo stato di cura, all’orientamento sessuale,
allo stato di alienazione o cittadinanza. Infine, si prevede che la Task Force
elabori sistemi che pongano rimedio ai danni prodotti dagli algoritmi.
Sotto il profilo della trasparenza, invece, la legge n. 49 del 2018 impegna
la Task Force a elaborare raccomandazioni sulle modalità attraverso cui
i soggetti interessati da una decisione automatizzata possono richiedere
informazioni e ricevere spiegazioni sull’impiego del sistema algoritmico,
per un verso; sulle strategie da adottare per divulgare pubblicamente le
informazioni su tali sistemi, per altro verso; e, sulla fattibilità dell’archi-
viazione delle decisioni automatizzate, dei sistemi e dati pertinenti, infine.
Il 30 aprile 2019 la Task Force, dopo regolari incontri tra i suoi membri
avviati nel maggio del 2018, e al fine di depositare entro il dicembre 2019
le sue raccomandazioni come previsto dalla legge n. 49 del 2018, ha tenuto
il suo primo forum volto ad aprire il dibattito con la società civile sulla
base del lavoro fino a ora svolto sui temi della equità e della responsabilità.
Nel dossier, pubblicato sul website della Task Force66, e composto di
oltre un centinaio di pagine, emergono diverse criticità tanto sul fronte
delle tecnicalità quanto su quello della acquisizione dei dati67. Le prime
rilevano la difficoltà di precisare, nonostante la definizione fornita dalla

66
New York City Commission on Human Rights, Public Engagement Forum Automated
Decision Systems Task Force, April 30, 2019, in www.1nyc.gov/site/adtaskforce/eventes/
events.page.
67
Problematicità che sono state sollevate anche da subito dall’opinione pubblica: cfr. J.
Powles, New York City’s bold, flawed attempt to make algorithms accountable, December
20, 2017, in www.newyorker.com; M. Stiefel, New York Creates Task Force to Examine
Automated Decision Making, July 31, 2018, in www.infoq.com/news/2018/07/NYC-task-
force-automated-decision/; C. Lecher, New York City’s algorithm task force is fracturing,
April 15, 2019, in www.theverge.com; D. Budds, New York City’s AI task force stalls, April
16, 2019, in www.nycurbed.com.

124
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

legge stessa, la nozione relativa al sistema decisionale automatizzato. Le

seconde, data l’assenza, nella legge del 2018, di un dovere di collaborazione
tra le agenzie newyorkesi con i membri della Task Force a tal proposito,
profilano problematiche relative all’individuazione dei sistemi decisionali
automatizzati impiegati dalla Città di New York.
Cartina di tornasole di tale debacle sono le proposte di raccomandazioni
elaborate dal Legal Defense Fund che riproducono, quasi alla lettera, le
raccomandazioni richieste dalla legge n. 4968.
Ed infatti, tra di esse, si propone, anzitutto, che la Città debba adottare
una definizione uniforme di sistemi decisionali automatizzati.
In secondo luogo, si suggerisce che tutte le agenzie della Città che utilizzano
algoritmi nelle rispettive decisioni debbano soggiacere alle raccomandazioni
che verranno prodotte nel rapporto finale dalla Task force.
La terza raccomandazione chiede alla Città di impegnarsi seriamente ad
attuare il principio di trasparenza, e perciò si richiede la divulgazione
delle informazioni dei sistemi decisionali automatizzati esistenti in NYC
e come essi operano.
La quarta auspica che la Città vieti l’uso di dati dai quali possono derivare
politiche e pratiche discriminatorie nei sistemi decisionali automatizzati.
La quinta consiglia l’adozione di prassi che indichino se un algoritmo
incide in modo non proporzionale su una categoria soggettiva giuridica o
su un segmento della popolazione.
La sesta afferma che deve essere posto un rimedio anche a quei fattori che
sono prossimi a produrre risultati altrettanto discriminatori.
La settima propone di stabilire procedure che riparino i danni prodotti
dai sistemi decisionali automatizzati.
L’ottava, infine, chiede che la Città istituisca canali di partecipazione che
permettano a tutti i membri della comunità di assumere decisioni quanto
all’acquisto di sistemi decisionali automatizzati.
Il 30 maggio 2019 si è tenuta, con le stesse modalità, il secondo forum sul
tema della trasparenza69.

68
New York City Commission on Human Rights, Public Engagement Forum Automated
Decision Systems Task Force, cit., pp. 41 ss.
69
In data odierna (8.6.2019) non è possibile riferire in merito dal momento che nessun re-
port è stato ancora pubblicato sul sito www.1nyc.gov/site/adtaskforce/events/envents.page.

125
 Silvia Sassi

5. QUALCHE SPUNTO DI RIFLESSIONE

Sebbene, come è stato rilevato, l’implementazione degli algoritmi nei pro-
cessi decisionali sia una pratica assai diffusa e impiegata da tutti i livelli
di governo, e che va a incidere sensibilmente sulle posizioni giuridiche
soggettive o su segmenti della popolazione, rare e ancora embrionali sono
le misure giuridiche adottate per la regolamentazione delle decisioni au-
tomatizzate.
Su questo fronte, l’Unione europea si presenta all’avanguardia. Con l’a-
dozione recente del regolamento n. 679 del 2016 sono stati, ad esempio,
introdotti nuovi diritti e doveri sul trattamento dei dati personali e nuove
regole organizzative basate sui principi della trasparenza e della respon-
sabilità che vanno a interessare qualsiasi soggetto operi in questo ambito
settoriale, anche extra-UE. Nonché con una serie di altre iniziative proprie
sull’intelligenza artificiale.
Gli Stati Uniti, pionieri del diritto alla privacy per via giurisprudenziale70,
mantengono al riguardo, contrariamente a quanto previsto a livello euro-
peo, una normativa settorialmente frammentata. Quanto, poi, al governo
specifico delle decisioni automatizzate, solo di recente, con la Local Law
n. 49 del 2018, si sta cercando di individuare, peraltro sulla base della
prassi, regole tali da poterle gestire.
Entrambe le esperienze, tuttavia, presentano un tratto comune: la ricerca
di regole che pongano rimedio a eventuali discriminazioni o riproduzione
di iniquità derivanti dall’implementazione degli algoritmi nelle decisioni
pubbliche. In ragione di ciò il dibattito giuridico verte essenzialmente
sulle modalità attraverso cui i principi di trasparenza e di responsabilità
possano essere applicati71.

70
Negli Stati Uniti d’America il diritto alla privacy, altrimenti «the right to be let alone»,
venne teorizzato nel 1890 da Samuel Warren e Louis Brandeis in un articolo apparso il 15
dicembre in un fascicolo della Harvard Law Review (la cui traduzione in italiano si trova
in V. Frosini (a cura di), Jus Solitudinis, Milano, 1993; per una ricostruzione dei fatti v.
T.E. Frosini, Privacy: diritto fondamentale oppure no, in Id., Liberté Egalité Internet, ES,
2 ed. ampliata, 2019, 141 ss.). Il diritto alla privacy trova il suo primo riconoscimento
da parte della Corte Suprema nel 1965 con il caso Griswold: con riferimento agli sviluppi
giurisprudenziali di tale diritto cfr. A. Baldassarre, Privacy e Costituzione. L’esperienza
statunitense, Roma, 1974; per la raccolta delle decisioni della Corte Suprema: The Right
to Privacy. Historic US Supreme Court Decisions, 2012 (Ebook Kindle). Per più ampie e
recenti riflessioni cfr. T.E. Frosini, Liberté Egalité Internet, cit.
71
Tra le molteplici riflessione in ordine all’attuazione di questi due principi cfr. D.R. Resai,
J.A. Kroll, Trust but Verify: A Guide to Algorithms and the Law, in Har. J. L. & Tech., 31,
2017, pp. 1 ss.; C. Coglianese, D. Lehr, Transparency and Algorithmic Governance, in

126
Gli algoritmi nelle decisioni pubbliche tra trasparenza e responsabilità

Sotto il profilo della trasparenza, si rivela certamente importante la dispo-

sizione europea che impone al decisore pubblico di menzionare esplicita-
mente se una certa decisione che colpisce un soggetto è stata assunta sul
fondamento di un trattamento algoritmico. Ciò, da un canto, permette agli
interessati di non subire passivamente gli effetti dell’intelligenza artificiale
e, dall’altro, facilita un controllo sia interno, da parte cioè dei produttori
e degli sviluppatori del sistema, sia esterno, da parte dei destinatari e dei
poteri pubblici. Un simile discorso, tuttavia non deve sottovalutare la com-
plessità intrinseca degli algoritmi. Per quanto essi possano, infatti, essere
trasparenti, rimarranno imperscrutabili per buona parte della popolazione.
Sicché la semplice informazione che una decisione è stata presa sulla base
di un sistema algoritmico il cui codice sorgente è pubblico non comporta
automaticamente, ad esempio, l’applicazione di uno dei principi fondanti
il giusto processo, ovvero il principio del contraddittorio. Peraltro, se la
trasparenza, per un verso, consente di scoprire le deficienze del sistema,
per altro verso, non garantisce l’affidabilità, la sicurezza e l’equità di un
algoritmo.
In questo senso dunque il principio di trasparenza deve essere, in eguale
misura, accompagnato dal principio di responsabilità, il cui principale
pregio consiste nel porre a carico dei produttori e degli ottimizzatori degli
algoritmi il dovere di dimostrare che la costruzione algoritmica è avvenuta
nel rispetto dei requisiti prescritti dal normatore. Di certo, anche l’appli-
cazione di questo principio non può fornire una assoluta garanzia. Sicché
anche un chiaro sistema sanzionatorio nonché di incentivi finanziari si
configura come ulteriore strumento per stimolare gli architetti degli al-
goritmi a conformarsi ai requisiti prescritti. Da qui, l’idea della dottrina
americana di prevedere l’istituzione di una agenzia o di una autorità di
vigilanza dotata di tutti gli strumenti per portare avanti una serie di com-
piti, tra i quali quello di accedere e analizzare i dettagli dell’algoritmo,
del codice sorgente, del trattamento dei dati nonché il loro incrocio, è da
accogliere positivamente.

Admin. L. Rev., 71 , 2019, pp. 1 ss.; C. Castelluccia, D. Le Métayer, Understanding Algo-

rithmic Decision-Making: Opportunities and Challenges, Study – Panel for the future of
Science and Technology, European Parliamentary Research Service, PE 624.261, Brussels,
March 2019; A Governance Framework for Algorithmic Accountability and Transparency,
Study – Panel for the future of Science and Technology, European Parliamentary Research
Service, PE 624.262, Brussels, April 2019.

127
Silvia Sassi

Ultima, ma non per questo meno importante, è la questione relativa al fatto

che una siffatta regolamentazione non può essere confinata al territorio
nazionale, data la transnazionalità degli attori presenti72.
La regolamentazione dell’intelligenza artificiale posta al servizio dell’uma-
nità implica una responsabilizzazione dell’insieme degli attori interessati in
una logica di conformità e di lealtà. La regolazione e la governance digitale
non può riposare solo sul potere pubblico, è necessario che vi concorrano
anche gli attori privati, soprattutto nella parte della assunzione dei rischi
che l’intelligenza artificiale può comportare, per condividerne quindi anche
la responsabilità.
Ma affinché tutto ciò possa avverarsi, essenziale risulta la sussistenza di una
omogeneità culturale, in termini di condivisione dei valori di riferimento,
fondati sul nucleo essenziale delle Costituzioni, dei soggetti tanto pubblici
quanto privati che concorrono alla formazione e alla utilizzazione degli
algoritmi nelle decisioni pubbliche.

Silvia Sassi
Dipartimento di Scienze Giuridiche
Università degli Studi di Firenze
Via delle Pandette 32
50127 Firenze
[email protected]

72
Sulla transnazionalità del diritto si consenta di rinviare a S. Sassi, Diritto transnazionale
e legittimazione democratica, Padova, Cedam, 2018.

128