Pubblichiamo un estratto del libro Il confine del futuro. Possiamo fidarci dell’intelligenza artificiale? di Francesca Rossi Giangiacomo Feltrinelli Editore, Milano.
Da alcuni anni l’intelligenza artificiale è sempre più oggetto di interesse dei media, che spesso la presentano come una tecnologia che può diventare intelligente anche più delle persone, e quindi per alcuni problemi può arrivare a soluzioni che noi esseri umani non siamo in grado di trovare.
Questo genera speranza ma anche apprensione, per la paura di essere superati e sostituiti. Ci angoscia non sapere quali conseguenze avrà nella nostra vita un uso sempre più esteso dell’IA. 
In realtà, certe paure nascono dall’immagine che i film, i giornali e i programmi televisivi forniscono dell’IA, per cui finiamo per associare questa tecnologia a immagini e scenari apocalittici, confondendo la realtà con la fantascienza.
In effetti, però, ci sono alcuni validi motivi di apprensione, su cui è bene discutere e confrontarsi.
In questo capitolo cercherò di esaminare quelli principali in modo chiaro e oggettivo, per evitare di confondere i problemi relativi all’uso attuale delle tecniche di IA nella nostra società con le questioni che riguardano un futuro lontano e poco probabile.
I pregiudizi (“bias”) nell’IA
Joy Buolamwini è una brillante dottoranda di colore del Media Lab al MIT, a Boston. Pochi anni fa alcuni suoi colleghi hanno svolto un progetto di IA in cui hanno messo delle videocamere nei corridoi del Media Lab e hanno scritto un programma in grado di riconoscere il viso di una persona quando passa sotto una videocamera.
Un giorno, mentre Joy camminava nei corridoi del MIT insieme ad altri studenti, si è accorta che il suo viso non veniva riconosciuto dalle videocamere, che invece riconoscevano correttamente quello degli altri studenti di carnagione bianca. Ha cercato di capire perché quel sistema di IA non fosse in grado di “vedere” il suo viso, e si è resa conto che il problema era nei dati di allenamento, che contenevano un numero di gran lunga inferiore di esempi di persone di colore rispetto a quello delle persone di carnagione chiara.
Come abbiamo già visto, con le tecniche di machine learning i computer apprendono (quasi) solo dai dati che noi gli forniamo. Perciò, se questi dati non sono rappresentativi di tutti i casi, l’IA apprenderà in modo non bilanciato (avrà, cioè, un bias) e non avrà la stessa accuratezza su tutte le categorie di input che, in questo caso, sono le immagini delle videocamere. Joy ha messo alla prova il sistema con uno stratagemma: per un po’ ha girato per il MIT con una maschera bianca sul viso e ha appurato che, quando indossava la maschera, le videocamere la identificavano.
Un modo per verificare di persona il bias dei sistemi di IA è usare un sistema di traduzione automatica con frasi che contengono indicazioni di genere. Provate a usare Google Translate per far tradurre il testo “Lei è un medico. Lui è un infermiere” in turco. Il risultato è “O bir doktor. O bir hemşire”. Ora chiedete di tradurre questo testo turco in italiano. Il risultato è “Lui è un medico. Lei è un’infermiera”.
Cosa è successo? Come mai il “lui” è diventato un medico e la “lei” è diventata un’infermiera, se all’inizio era il contrario? Il problema è sempre negli esempi usati per allenare il sistema di traduzione automatica, che evidentemente contengono molti più uomini che donne nel ruolo di medico, e molte più donne che uomini nel ruolo di infermiera.
Nella prima traduzione, dall’italiano al turco, il genere si è perso, perché il turco, a differenza dell’italiano, usa un pronome generico che non fa distinzione fra “lui” e “lei”. Quindi, nella seconda traduzione, quella dal turco all’italiano, il sistema ha dovuto “indovinare” il sesso del medico e dell’infermiere, e lo ha fatto basandosi sulla statistica dei dati di allenamento, ottenendo il risultato che abbiamo visto.
Un esempio molto più serio di bias riguarda il sistema giudiziario americano. Per anni alcuni giudici americani hanno usato Compas, un algoritmo di IA che valutava la probabilità che una persona responsabile di un crimine avrebbe potuto commetterlo di nuovo in futuro. Insieme ad altri elementi, questo algoritmo veniva usato dai giudici per stabilire chi dovesse rimanere in prigione e chi potesse essere rilasciato su cauzione.
Nel 2016 l’associazione ProPublica ha analizzato l’algoritmo e ha scoperto che era gravemente sbilanciato, perché segnalava per le persone di colore un rischio di recidiva molto più alto rispetto alle persone bianche, anche se la realtà era ben diversa.
Come nel caso di Joy, il problema era nei dati usati per l’allenamento del sistema di IA. Trattandosi di dati storici delle decisioni dei giudici che, evidentemente, erano sbilanciati, l’algoritmo non faceva che replicare questo comportamento, mentre i giudici che lo usavano ritenevano che fosse imparziale.
Essere capaci di valutare il grado di imparzialità di un sistema di IA è importante, soprattutto quando si tratta di decisioni che possono avere un impatto significativo sulla vita delle persone, come avviene nel sistema giudiziario, bancario o in quello dei servizi pubblici.
