Weapons of Math Destruction di Cathy O'Neil
Cathy O'Neil ha un curriculum che raramente si trova in un solo individuo: dottorato in matematica ad Harvard, anni come quant a Wall Street, poi l'attivismo legato a Occupy Wall Street e, infine, la fondazione di una società dedicata all'auditing degli algoritmi. Questo percorso non è un dettaglio biografico decorativo. È la condizione che rende Weapons of Math Destruction un libro credibile, scritto da qualcuno che ha vissuto dall'interno i meccanismi che critica e ha scelto di cambiare prospettiva.
La tesi centrale è semplice nella formulazione, profonda nelle implicazioni: gli algoritmi non sono strumenti neutrali di misurazione. Sono opinioni tradotte in codice. Quando una banca usa un modello per valutare l'affidabilità di un debitore, o quando un distretto scolastico usa un sistema automatico per valutare gli insegnanti, non sta applicando la matematica al mondo: sta applicando una serie di scelte, su cosa misurare, come pesarlo, cosa ignorare, che riflettono valori, pregiudizi e interessi specifici. La matematica fornisce solo la patina di oggettività.
O'Neil chiama questi sistemi Weapons of Math Destruction, le WMD: modelli che operano su larga scala, che funzionano come scatole nere, e che producono danni sociali concreti. La definizione non è retorica. I tre criteri si combinano in modo preciso: la scala significa che le decisioni errate si moltiplicano su milioni di persone contemporaneamente; l'opacità impedisce che le decisioni vengano contestate da chi ne subisce le conseguenze; i danni sono reali e misurabili, anche se difficilmente attribuibili a una persona specifica. Un algoritmo che nega un mutuo non lascia tracce come farebbe un funzionario che discrimina esplicitamente.
I casi di studio che il libro attraversa coprono un arco ampio: dal credit scoring all'assicurazione sanitaria, dalla selezione del personale nei grandi gruppi aziendali ai modelli di polizia predittiva, dai ranking universitari che distorcono le scelte delle famiglie agli algoritmi di targeting politico che alimentano camere d'eco. In ciascuno di questi contesti emerge un meccanismo ricorrente che O'Neil descrive con lucidità: il feedback loop. Un modello predittivo addestrato su dati storici tende a riprodurre le condizioni che quei dati riflettono. Se le forze dell'ordine hanno storicamente concentrato i controlli in certi quartieri, un algoritmo di polizia predittiva addestrato su quei dati continuerà a indirizzare le pattuglie negli stessi quartieri, producendo più arresti, che a loro volta confermano la "pericolosità" del quartiere, giustificando ulteriori controlli. Il modello non scopre la realtà: la costruisce.
Questo meccanismo è particolarmente visibile nel capitolo dedicato alla valutazione degli insegnanti, uno dei più riusciti del libro. O'Neil analizza i sistemi di value-added modeling usati negli Stati Uniti per misurare il contributo di un insegnante ai risultati scolastici degli studenti. Questi modelli producono punteggi individuali con decimali che comunicano precisione scientifica, ma la loro stabilità è così bassa che lo stesso insegnante, valutato con dati di anni diversi, può passare dall'eccellenza alla sufficienza senza che nulla di rilevante sia cambiato nel suo modo di insegnare. A New York un insegnante è stato licenziato sulla base di un punteggio calcolato su ottotré studenti, un campione statisticamente irrilevante per qualsiasi inferenza robusta.
La critica al potere delle piattaforme digitali è forse il punto in cui il libro mostra qualche tensione interna. O'Neil descrive come i social media e le grandi piattaforme raccolgano dati su comportamenti, preferenze e vulnerabilità degli utenti per costruire profili usati nel targeting pubblicitario e, più preoccupante, nella distribuzione selettiva di informazione politica. Il rischio per la democrazia non è astratto: un sistema che mostra a ciascun utente un flusso di informazioni calibrato per massimizzare il coinvolgimento emotivo non è neutrale rispetto alla qualità del dibattito pubblico. Il lettore avrebbe però beneficiato di un'analisi più granulare sulle differenze tra piattaforme, sui meccanismi specifici di amplificazione e sulla distinzione tra effetti intenzionali e conseguenze non volute di sistemi progettati per altri scopi.
Nell'ultimo capitolo O'Neil propone alcune direzioni: regolamentazione dei modelli, obblighi di trasparenza, e qualcosa di simile a un giuramento di Ippocrate per i data scientist, un codice deontologico che responsabilizzi chi costruisce questi sistemi. Le proposte sono ragionevoli e aprono una conversazione necessaria, ma rimangono sul piano dei principi senza scendere alle difficoltà tecniche e politiche dell'implementazione. Regolare un algoritmo non è come regolare una centrale nucleare: il modello può cambiare ogni giorno, può operare simultaneamente in decine di giurisdizioni, e la sua opacità non è sempre il frutto di mala fede ma spesso una conseguenza strutturale dei metodi di machine learning. Questo non invalida la direzione indicata dall'autrice, ma suggerisce che la strada è più accidentata di quanto il libro faccia intendere.
Weapons of Math Destruction è stato pubblicato nel 2016 e la rapidità con cui i suoi argomenti sono diventati parte del discorso pubblico sulla tecnologia è una misura del suo peso. Oggi il dibattito sui sistemi algoritmici discriminatori, sulla trasparenza dell'intelligenza artificiale, sull'obbligo di spiegabilità (explainability) nelle decisioni automatizzate è arrivato nelle aule legislative europee, nelle linee guida delle agenzie di standardizzazione, nei dipartimenti legali delle grandi aziende. O'Neil ha contribuito a formare il vocabolario con cui questo dibattito si svolge. Il concetto di WMD, per quanto possa sembrare una semplificazione, ha avuto il merito di rendere visibile qualcosa che l'aura di oggettività della matematica tendeva a nascondere: che ogni modello è una scelta, e che le scelte hanno conseguenze.
La vera posta in gioco non è tecnica. È politica nel senso più ampio: chi decide cosa misurare, chi ha accesso ai modelli, chi può contestarli, chi subisce le conseguenze degli errori. La matematica non risponde a queste domande. A volte le oscura.
Raffaele Maurici
Innovation Agency