Quando un meccanismo decisionale automatizzato influisce sui nostri diritti fondamentali?

Pubblicato il 16 Luglio 2019

Tempo di lettura stimato: 1 minuti e 36 secondi.

A Ottobre di quest'anno la “commissione per l'etica dei dati” del governo tedesco ha pubblicato una relazione che contiene 75 raccomandazioni concrete riguardanti la digitalizzazione della società, molte delle quali hanno a che fare con il processo decisionale algoritmico.

La commissione, composta da 16 membri, ha iniziato a lavorare nel 2018. Ha riunito svariati studiosi, responsabili della protezione dei dati e alcuni rappresentanti del settore. Mentre il loro lavoro affronta diversi aspetti della digitalizzazione, in particolare la raccomandazione di abbandonare qualsiasi piano di gestione dei dati personali come oggetto di proprietà privata e qundi acquistabili e vendibili, la terza parte del documento è interamente dedicata ai sistemi algoritmici.

Su questo punto, la raccomandazione centrale della commissione è quella di applicare regole diverse a sistemi autonomi diversi. A questo scopo i sistemi autonomi sono stati classificati su una scala di 5 livelli:

  1. I sistemi a basso potenziale di danno, come i distributori di bevande, che non dovrebbero essere regolamentati.
  2. I sistemi con qualche potenziale di danno, come i prezzi dinamici nel commercio elettronico, che dovrebbero essere leggermente regolamentati e sui quali dovrebbero essere istituiti controlli post-hoc.
  3. I sistemi con danni potenziali regolari o evidenti, come i prezzi personalizzati, dovrebbero essere sottoposti a una procedura di approvazione associata a controlli regolari.
  4. I sistemi con un danno potenziale considerevole, come le società che hanno quasi-monopoli nel credit scoring, dovrebbero pubblicare i dettagli dei loro algoritmi, compresi i fattori utilizzati nei calcoli e la loro ponderazione, i dati trattati e una spiegazione della loro logica interna. I controlli dovrebbero essere possibili attraverso un'interfaccia in tempo reale.
  5. I sistemi con danni potenziali ingiustificati, come le armi autonome, dovrebbero essere “completamente o parzialmente” vietati.

L'indicazione del livello di pericolosità del processo decisionale automatizzato potrebbe essere poi rappresentato in classi sulla scorta di quanto fatto per il consumo degli elettrodomestici.

Tags: DPM, Procedimenti decisionali automatizzati