Prospettive

I bias dell'AI

Il dibattito sulla fairness algoritmica tratta l'ingiustizia come un errore tecnico da rimuovere, nascondendo le scelte politiche che definiscono la neutralità e la responsabilità delle asimmetrie. Spostare la domanda da "quanto è distorto?" a "distorto rispetto a quale ordine?" trasforma l'audit degli algoritmi in un'indagine sulla genealogia del potere.

Un sistema seleziona curricula, nega prestiti, calcola pene detentive. Quando i risultati si distribuiscono in modo diseguale tra gruppi sociali, la risposta tecnica è quasi sempre la stessa: individuare e rimuovere il bias.
Bias. Poche parole nel dibattito sull'intelligenza artificiale racchiudono allo stesso tempo una diagnosi e la promessa di una cura. È un termine che evoca l'immagine di qualcosa di chiaramente identificabile e circoscritto: un corpo estraneo da estrarre da un meccanismo altrimenti sano. Un bug, appunto.

La metafora del bug è tanto precisa quanto potente. Un bug è un errore nel codice, anomalo e correggibile, la cui individuazione suggerisce già come intervenire per eliminarlo. Quando la ricerca sull’equità dei sistemi algoritmici adotta questo schema, presuppone implicitamente che il sistema ospite sia sano e che il bias rappresenti solo un’eccezione a una norma di corretto funzionamento. L'operazione di debiasing si trasforma così in un intervento di rimozione: si toglie l'impurità per ripristinare l'ordine. Tuttavia, questa metafora non interroga l'origine dell'ordine che intende ristabilire.
Si potrebbe però rovesciare la critica: proprio perché il bug è identificabile e correggibile, la metafora tecnica rende l'ingiustizia aggredibile nel breve periodo, senza attendere trasformazioni strutturali che potrebbero non arrivare mai. La domanda non è solo se la metafora sia giusta, ma quali conseguenze pratiche produce adottarla. Se un bug è un’anomalia rispetto a un comportamento atteso, quale dovrebbe essere il comportamento di un sistema davvero equo? E chi ne ha definito, in principio, le specifiche?

L'immagine riflessa di un sistema distorto è quella del sistema neutro: un'intelligenza artificiale priva di inclinazioni, capace di elaborare dati senza il fardello della storia e di produrre risultati misurabili rispetto a un ipotetico punto zero. Eppure, nel dibattito pubblico, questo punto zero viene menzionato raramente. Tale silenzio finisce per nascondere il lavoro, le scelte e la prospettiva specifica necessari proprio per definire che cosa sia la neutralità.
In origine, il termine inglese bias indicava semplicemente un'inclinazione o una pendenza, come quella di un tessuto tagliato in diagonale rispetto alla trama. La sua evoluzione semantica in sinonimo di distorsione negativa porta con sé un presupposto fondamentale: l'esistenza di un piano perfettamente orizzontale rispetto al quale misurare ogni deviazione. Ma chi abita quel piano? Chi lo ha costruito, e quando?

Il concetto di sistema neutro ha radici nelle aspirazioni positiviste della scienza ottocentesca: l'idea che il metodo scientifico, applicato correttamente, producesse conoscenza oggettiva e sganciata dal soggetto che la produce. L'intelligenza artificiale eredita questa aspirazione e la amplifica. Un sistema complesso e automatizzato appare sottratto all'interferenza umana, e dunque neutro. La complessità genera opacità. Un sistema che elabora miliardi di parametri nasconde i propri meccanismi, senza garantire obiettività.

Secondo Afreen et al. (2025), la letteratura sul bias nei sistemi di AI generativa non è distribuita in modo uniforme, ma riflette specifiche priorità geografiche e culturali. In particolare, emerge una maggiore attenzione verso alcune categorie di bias (come genere e razza), mentre altri contesti, gruppi sociali e prospettive risultano meno rappresentati nella ricerca esistente. Di conseguenza, la definizione operativa di ciò che costituisce un bias misurabile non è un dato oggettivo, ma il riflesso di un’assunzione culturale situata.
Questa concentrazione dimostra che decidere i confini della misurazione significa stabilire, a priori, cosa debba essere considerato un'ingiustizia. Si tratta di una scelta che risponde a precise logiche politiche, che precedono e condizionano qualsiasi valutazione tecnica.

Il paradosso più stringente risiede nel processo di addestramento: un sistema impara da dati che riflettono fedelmente il mondo reale, con le sue disuguaglianze storiche, le asimmetrie di potere e gli stereotipi sedimentati. Di conseguenza, un modello addestrato perfettamente su tali basi risulterà, per logica, perfettamente distorto. Spesso la correzione del bias non fa altro che selezionare, nascondere o redistribuire questa struttura sottostante. Una prospettiva alternativa osserva però che ogni correzione, anche parziale, produce effetti reali su persone reali: un sistema di selezione del credito meno discriminatorio verso determinate categorie demografiche migliora concretamente le loro opportunità, indipendentemente dal fatto che le disuguaglianze strutturali sottostanti rimangano intatte. Dal punto di vista di chi subisce l'algoritmo, la redistribuzione del danno non è irrilevante. La pulizia tecnica maschera così una rinegoziazione silenziosa su quale forma di squilibrio sia da ritenersi accettabile. Sebbene il campo dell'intelligenza artificiale offra numerose risposte tecniche, il dibattito attuale necessita di domande capaci di sostenere il peso politico di ciò che si sta costruendo.

Il nodo cruciale riguarda il rapporto tra misurazione e definizione. Per misurare il bias è indispensabile definirlo, eppure l'82% degli studi sul tema omette una definizione operativa esplicita. La ricerca finisce così per affidarsi a metriche matematiche che incorporano silenziosamente presupposti impliciti (Blodgett et al., 2020): la scelta della metrica stabilisce, di fatto, cosa debba contare come ingiustizia. Un sistema ottimizzato per la parità statistica tra gruppi e uno focalizzato sulla parità di opportunità individuali produrranno output diametralmente opposti, pur potendo entrambi dichiararsi corretti. In questo modo, la misurazione tecnica rimane scissa dalla scelta normativa che dovrebbe orientarla.

Sussiste poi una tensione profonda tra rappresentazione e riproduzione. Una strategia diffusa consiste nell'aumentare la presenza di gruppi sottorappresentati nei dati, ma questa forma di inclusione lascia spesso intatta la riduzione degli individui a categorie predefinite. Un sistema addestrato su dataset demografici più ampi rischia paradossalmente di riprodurre con maggiore precisione le stesse tassonomie binarie e le classificazioni ereditate da sistemi storicamente situati. Rimane aperta la distanza tra l'aggiunta di nuovi gruppi e la progettazione di un sistema che smetta di trattare le identità collettive come unità di analisi naturali. Chi adotta una prospettiva opposta argomenta però che rinunciare alle categorie demografiche come unità di analisi, in assenza di alternative operative, rischia di rendere invisibili proprio le disparità che si vorrebbe correggere: senza misurare la distribuzione degli outcome per gruppo, non è possibile nemmeno verificare se una correzione ha funzionato. La categoria può essere una gabbia concettuale e uno strumento di tutela allo stesso tempo. Una sfida che appartiene tanto alla sfera tecnica quanto a quella culturale.

Un altro punto critico tocca il rapporto tra spiegabilità e fiducia. L'intelligenza artificiale spiegabile nasce per ridurre l'affidamento cieco verso la macchina rendendone visibile il ragionamento, ma le evidenze empiriche descrivono dinamiche più ambigue. Una spiegazione plausibile tende infatti ad aumentare la fiducia dell'utente nel sistema anche quando l'output è errato, poiché la coerenza narrativa rassicura cognitivamente a prescindere dalla correttezza (Lee & See, 2004). In determinati contesti, la trasparenza può persino amplificare il bias di automazione, fornendo una narrazione che rende l'errore accettabile (Cummings, 2004). Gestire un sistema in cui lo strumento di mitigazione genera esso stesso nuovi rischi richiede dunque approcci molto specifici (Lyell & Coiera, 2017; Parasuraman & Manzey, 2010).

Infine, emerge una questione di natura strutturale. La maggior parte delle tecniche di intervento agisce sul modello, lavorando sui pesi, sui dati o sugli output, ma le distorsioni algoritmiche affondano le radici nelle strutture sociali che hanno generato quei dati. Intervenire solo sul software significa limitarsi a contenere il sintomo. Il vero intervento strutturale, che riguarda le disuguaglianze economiche, le asimmetrie di potere e le eredità storiche di esclusione, esce inevitabilmente dal perimetro della competenza tecnica. Una lettura diversa, tuttavia, inverte la direzione causale: i sistemi algoritmici non si limitano a riflettere le strutture sociali esistenti, ma le ridefiniscono attivamente man mano che vengono adottati su scala. In questa prospettiva, intervenire sul software non è contenere un sintomo ma modificare uno dei meccanismi attraverso cui le strutture si riproducono, il che rende l'intervento tecnico non sufficiente, ma nemmeno trascurabile. Finché il confine tra la responsabilità dell'ingegnere e quella del legislatore, dell'economista o dello storico resterà indefinito, il peso della questione continuerà a sbilanciarsi verso un unico lato.

Esiste una distinzione profonda tra correggere un sistema e interrogarlo. Mentre la correzione agisce all'interno della logica esistente, individuando un'anomalia per rimuoverla e dichiarare il meccanismo riparato, l'interrogazione mette radicalmente in discussione il diritto del sistema stesso di stabilire cosa debba essere considerato corretto.

Spostare il baricentro del dibattito pubblico dalla domanda "quanto è distorto questo sistema?" a "distorto rispetto a quale ordine del mondo?" cambierebbe le basi stesse della conversazione sull'equità dell'intelligenza artificiale. Ma si potrebbe ugualmente argomentare il contrario: che spostare il dibattito verso la domanda politica, senza rispondere a quella tecnica, rischia di paralizzare l'azione proprio mentre i sistemi vengono già dispiegati. Le due domande non sono alternative, sono simultanee. La sfida è tenere aperto il livello politico senza usarlo come ragione per rimandare gli interventi possibili oggi. Per costruire sistemi migliori è necessario superare la metafora del bug: la qualità di una tecnologia dipende infatti da una scelta collettiva sulla distribuzione del potere che tali strumenti sono chiamati a riprodurre (Steyvers & Kumar, 2024).

Considerare il bias come la traccia inevitabile di ogni processo di apprendimento basato su dati prodotti da esseri umani storicamente situati trasforma la sfida in un imperativo di visibilità, contestabilità e responsabilità. Questa prospettiva non nega l'utilità delle tecniche di debiasing, ma le ricolloca nel loro giusto ruolo di strumenti, mantenendole distinte dagli obiettivi etici e politici che una società si prefigge di raggiungere.

Il linguaggio, in questo campo, porta con sé presupposti precisi. Definire come bias ciò che si potrebbe definire eredità strutturale o asimmetria di potere codificata configura una scelta precisa su chi sia il responsabile (Blodgett et al., 2020)e e su quale scala si debba intervenire. Se il bias è considerato un attributo dell'algoritmo, l'asimmetria strutturale appartiene alla società: si tratta di due problemi che richiedono strumenti, attori e tempi profondamente diversi. Nominare la seconda con il lessico del primo finisce per restringere il campo d'azione, rendendo invisibile la dimensione del problema che rimane esclusa dall'intervento.

La narrativa dominante delega al tecnico il compito di sanare l'ingiustizia sociale attraverso il codice. Tale scelta alleggerisce la pressione sulle istituzioni politiche, economiche e culturali, caricando però l'ambito tecnico di una responsabilità insostenibile. Ne deriva una doppia distorsione: da un lato, si ottengono soluzioni tecniche inadeguate alla complessità del problema; dall'altro, si alimenta una retorica del progresso che occulta la persistenza delle strutture sociali sottostanti.

In ultima analisi, la domanda più onesta da rivolgere a un sistema di intelligenza artificiale riguarda i suoi stessi criteri di valutazione: equo secondo chi? Chi analizza i bias dei sistemi dovrebbe rivolgere lo stesso sguardo critico alle categorie impiegate per misurarli. Le metriche, le tassonomie e le definizioni operative utilizzate per quantificare l'ingiustizia non sono neutre, ma possiedono una storia, una geografia e dei beneficiari precisi. Anche queste categorie, inevitabilmente, inclinano in una direzione specifica.
La stessa avvertenza vale per la cornice critica adottata. Leggere il bias come traccia di asimmetrie di potere più che come errore tecnico non è l'unica prospettiva possibile, né necessariamente la più utile in ogni contesto. Chi parte da una cornice diversa, ad esempio quella che valuta un sistema dalla riduzione concreta del danno su popolazioni reali nel breve periodo, porrà domande diverse e troverà risposte diverse, ugualmente legittime. Il punto non è quale cornice sia giusta, ma rendersi consapevoli di quale si sta usando. E di cosa, adottandola, si sceglie di non vedere.