Nel 2018, Amazon ha scoperto che il suo sistema AI di recruiting discriminava sistematicamente le candidate donne. L’algoritmo aveva imparato dai dati storici di assunzione — dominati da uomini nel settore tech — che essere donna era un indicatore negativo. Amazon ha cancellato il progetto, ma il danno era fatto. E il problema è molto più grande di un singolo caso.
Il bias è nei dati, non nell’algoritmo
L’AI non inventa pregiudizi: li amplifica. Se un algoritmo viene addestrato su dati che riflettono decenni di discriminazione sistemica, produrrà decisioni discriminatorie con precisione matematica e scala industriale. La differenza rispetto al bias umano? L’AI discrimina in modo invisibile, silenzioso e sistematico, dietro una patina di oggettività algoritmica.
“La cosa più pericolosa dell’AI non è che sia biased. È che le persone credono che non lo sia. Il mito dell’oggettività algoritmica è il cavallo di Troia della discriminazione automatizzata.” — Timnit Gebru, ricercatrice etica AI
I casi che hanno scosso il mondo
COMPAS, un algoritmo usato nei tribunali americani per predire la recidiva criminale, è stato accusato di assegnare punteggi di rischio più alti ai detenuti afroamericani. L’analisi di ProPublica ha mostrato che i neri venivano etichettati come “alto rischio” quasi il doppio delle volte rispetto ai bianchi, a parità di storia criminale.
Nel settore finanziario, uno studio di UC Berkeley ha dimostrato che gli algoritmi di approvazione mutui discriminano le minoranze etniche, facendo pagare tassi di interesse mediamente più alti di 8 punti base. Su scala nazionale, questo si traduce in 765 milioni di dollari di costi aggiuntivi all’anno.
Soluzioni: audit, trasparenza e regolamentazione
L’AI Act europeo impone valutazioni di impatto obbligatorie per i sistemi AI ad alto rischio, inclusi quelli usati in assunzioni, credito e giustizia penale. È un primo passo, ma c’è molto da fare.
La vera soluzione richiede un approccio multi-livello: audit algoritmici indipendenti, dataset diversificati, team di sviluppo eterogenei e un principio fondamentale — ogni decisione AI che impatta la vita delle persone deve poter essere spiegata, contestata e corretta.
L’AI può essere il più grande equalizzatore della storia o il più grande amplificatore di disuguaglianza. La scelta è nostra.
