Prospettive

Bias algoritmici e diversità

Ogni tecnologia trasformativa genera una retorica che la precede e spesso la sopravanza. L'intelligenza artificiale non fa eccezione, ma la polarizzazione del discorso pubblico che la circonda è di un ordine di grandezza superiore a qualsiasi precedente. Narrazioni di discontinuità civilizzatoria imminente da un lato, profezie di controllo sociale totale dall'altro. Strutture del destino, dell'inevitabile. Di fronte a entrambe, l'analisi si blocca, e questo testo sceglie di ignorarle, concentrandosi su un problema specifico, misurabile e affrontabile.

Bias algoritmico e diversità

Ogni tecnologia trasformativa genera una retorica che la precede e spesso la sopravanza. L'intelligenza artificiale non fa eccezione, ma la polarizzazione del discorso pubblico che la circonda è di un ordine di grandezza superiore a qualsiasi precedente. Narrazioni di discontinuità civilizzatoria imminente da un lato, profezie di controllo sociale totale dall'altro. Strutture del destino, dell'inevitabile. Di fronte a entrambe, l'analisi si blocca, e questo testo sceglie di ignorarle, concentrandosi su un problema specifico, misurabile e circoscrivibile e operazionalizzabile.

Il mito della neutralità algoritmica

Circola nell'ecosistema tecnico una fantasia persistente: quella dell'algoritmo come arbitro imparziale, sottratto alle debolezze del giudizio umano. Il codice non discrimina. È una fantasia seducente perché contiene abbastanza verità da rendere insidiosa la parte che è infodata. Un sistema di intelligenza artificiale è un costrutto umano dall'inizio alla fine. Qualcuno sceglie quale problema modellare, decide quali dati raccogliere e quali escludere, stabilisce quale metrica ottimizzare. Qualcuno definisce operativamente cosa significa "successo", e quella definizione non viene dalla logica matematica, viene dalle persone che scrivono il codice, con tutto ciò che sono.

Il meccanismo strutturale del bias

Il problema non è la cattiva intenzione dei progettisti. È il punto cieco dell'esperienza vissuta. Un sistema addestrato su dati storici non impara come dovrebbe essere il mondo, impara come è stato. Se il passato era diseguale, il modello replica quella diseguaglianza con l'autorevolezza aggiuntiva della formalizzazione matematica. La decisione distorta non viene più presa da un individuo, identificabile, interrogabile, responsabilizzabile, ma da un sistema che nessun singolo ha inteso costruire in quel modo. La responsabilità si dissolve nella complessità del processo. Il danno rimane. Il bias emerge lungo due direttrici. La prima: se i dati storici riflettono dinamiche discriminatorie pregresse, il modello le apprende e le proietta in avanti, trasformando la statistica descrittiva in norma prescrittiva. La seconda: popolazioni sottorappresentate nei dati producono sistemi che funzionano peggio per quelle stesse popolazioni, con effetti che si auto-rinforzano nel tempo, perché meno dati generano prestazioni degradate, che generano minore adozione, che generano ancora meno dati.
I sistemi di intelligenza artificiale tendono a fallire esattamente lungo le linee delle diseguaglianze storiche: di genere, di etnia, di classe, di abilità. Non è una coincidenza tecnica. È un effetto prevedibile e, in larga misura, prevenibile. Nei domini in cui questo meccanismo è stato studiato con rigore, dal riconoscimento facciale allo scoring creditizio, dalla selezione del personale ai sistemi di supporto alle decisioni giudiziarie, i fallimenti si concentrano con regolarità lungo le linee delle diseguaglianze storiche: di genere, di etnia, di classe, di abilità. Non è una coincidenza tecnica. È un effetto prevedibile e, in larga misura, prevenibile.

La diversità come requisito epistemico

La richiesta di maggiore eterogeneità nei team di sviluppo non è riducibile a una questione di equità distributiva. È, prima di tutto, una questione di qualità epistemica. I team omogenei hanno punti ciechi omogenei. Quando i progettisti condividono un'esperienza simile del mondo, convergono sulle stesse assunzioni implicite: su chi è l'utente tipico, su quali scenari vale la pena modellare, su quali rischi sono rilevanti. Chi non ha mai incontrato certi ostacoli burocratici non li modella. Chi progetta per connessioni stabili ad alta velocità non anticipa i casi d'uso con connettività intermittente. Chi ha sempre avuto un'identità documentata facilmente leggibile dai sistemi istituzionali non considera i fallimenti che quegli stessi sistemi producono per chi non rientra in quella norma. In ogni caso il problema non è la negligenza: è l'assenza strutturale di prospettive che avrebbero reso visibile il problema in fase di progettazione. Il meccanismo è specifico: la diversità agisce a monte, nel momento in cui si definisce il problema, si costruisce il dataset, si decide quali casi limite testare, prima, cioè, che il bias abbia già preso forma nei dati.
La diversità nei team non basta da sola, le prospettive differenti devono essere integrate nel processo tecnico, non tollerate ai margini. Né è l'unico strumento disponibile: audit esterni, processi strutturati di red teaming e dataset di valutazione disaggregati sono complementi necessari, non sostituti. Ma senza di essa, le lacune sono specifiche e prevedibili quanto i bug in un sistema non testato. Non è un'affermazione normativa: è una previsione empirica. È un'ipotesi corroborata da casi documentati, non un postulato normativo.

Implicazioni operative

Le organizzazioni che hanno affrontato questo problema con maggiore rigore hanno introdotto audit algoritmici sistematici, dataset di valutazione disaggregati per caratteristiche demografiche, processi strutturati per l'identificazione dei fallimenti su popolazioni sottorappresentate prima del rilascio. Non soluzioni definitive, il riconoscimento operativo che il problema richiede strutture.
C'è anche un argomento pragmatico. I sistemi che funzionano male per certe categorie di utenti generano costi reali: legali, reputazionali, regolatori, e, in contesti ad alto impatto come la sanità, il credito o la giustizia penale, danni misurabili per persone reali.
L'argomento pragmatico ha però un limite che vale nominare: funziona bene per le organizzazioni esposte a rischi legali o reputazionali, meno bene nei contesti in cui le popolazioni più colpite dal bias dispongono di scarso potere contrattuale. Per questi casi, le strutture di audit e le obbligazioni regolamentari non sono un'alternativa all'argomento pragmatico: sono la sua condizione di applicabilità.
Il bias algoritmico non è un problema etico aggiunto a margine di un processo tecnico altrimenti solido: è un difetto di ingegneria con conseguenze asimmetriche, tende a degradare le prestazioni esattamente per chi aveva già meno margine di errore. è un difetto di ingegneria, con le stesse implicazioni che avrebbe qualsiasi altro difetto sistematico in un sistema critico.
I pregiudizi inconsci non si eliminano con la buona volontà individuale. Si gestiscono costruendo strutture che li rendano visibili, processi che li interroghino, team abbastanza eterogenei da andare a cercare i problemi nei punti in cui chi progetta non pensa istintivamente di guardare. La diversità non è un ornamento etico sovrapposto a un processo tecnico già completo: è parte del processo tecnico. Rimuoverla produce sistemi che funzionano peggio, e lo fanno in modo sistematicamente diseguale, che non è un caso, ma un effetto diretto di come sono stati fatti.

Raffaele Maurici
Innovation Agency