Colletiva logo CGIL logo
Colletiva logo CGIL logo

Analisi

L'algoritmo e i suoi pregiudizi

Foto: Geralt (www.pixabay.com)
Susanna Camusso e Cinzia Maiolini
  • a
  • a
  • a

Lo scorso dicembre Google licenziava Timnit  Gebru, "colpevole" di aver studiato i rischi dello sviluppo di sistemi informatici che analizzano enormi database e che, senza un'etica dei dati immessi, producono discriminazioni

Da qualche tempo Google è al centro di avvenimenti cui è opportuno dedicare attenzione. Mentre infatti, proprio in questi giorni, in Australia si pone il tema dell’obbligo per le grandi piattaforme di pagare gli editori per i link dei siti di informazione – e mentre abbiamo notizia della recente costituzione su territorio americano di un sindacato  dei lavoratori e delle lavoratrici di Google – apprendiamo la sconcertante notizia di un nuovo licenziamento operato dall’azienda nei confronti di una ricercatrice in un settore aziendale già interessato nei mesi scorsi da forti polemiche.

A Dicembre 2020 Google licenziava infatti Timnit  Gebru, scienziata afroamericana con grande esperienza nel settore  e co-lead della sezione di Google che si occupa dell’analisi dell’etica dell’Intelligenza artificiale (AI). Già  piuttosto nota  per uno studio del 2018 che aveva trovato pregiudizi razziali e di genere nei software di riconoscimento facciale, la scienziata continuava a  studiare  la discriminazione degli algoritmi che alimentano l’AI e si era rifiutata di ritirare un report in cui forniva un’opinione critica rispetto alla Big Tech. 

Gebru aveva  infatti lavorato  ad un documento che esaminava i rischi dello sviluppo di sistemi informatici che analizzano enormi database di linguaggio umano e li usano per creare una propria lingua basata su quella dell’uomo. Un sistema di machine learning dunque, che permette ai sistemi di apprendere sulla base dei dati con cui vengono alimentati. Il report “incriminato” citava sia la nuova tecnologia di Google sia quella utilizzata da altri  e segnalava i pericoli potenzialmente insiti nell’affermarsi di bias, cioè di  pregiudizi algoritmici che causano discriminazione.

Questa notizia ci riguarda perché il tema dei pregiudizi cui rischiano di  conformarsi le attività dell’Intelligenza artificiale oggi impatta sulla vita di tutti. Se questo infatti è abbastanza evidente e intuitivo nel campo del riconoscimento facciale, laddove ad esempio si utilizzino questi software a fini di sicurezza e prevenzione del crimine, ogni volta che l’AI è utilizzata per orientare le scelte umane il rischio di discriminazione si annida nell’opacità della costruzione dell’algoritmo e nella qualità dei dati  con cui si “addestra” la macchina: tanto più dunque si diffonde l’uso dell’Intelligenza artificiale tanto più bisogna renderne trasparente il funzionamento e a questo fine erano orientati gli studi di Gebru.

Se dunque i pregiudizi nascono dai dati, la benzina dell’Intelligenza artificiale, per limitare quanto più possibile i rischi di discriminazione bisogna non solo rendere trasparenti gli algoritmi: serve anche un’etica dei dati. Del resto un’altra scienziata, Joy Buolamwini, ricercatrice del Mit di Boston, tramite uno studio dal titolo Gender Shades, ha parimenti testato alcuni sistemi di riconoscimento facciale (come Ibm Watson e Microsoft Cognitive Services) per concludere che quei sistemi dimostravano una percentuale di precisione vicino al 100 per cento se si trattava di  uomini bianchi, ma prossima appena al 35 per cento per le donne di carnagione scura*.

Di nuovo la conferma di un evidente pregiudizio annidato nei dati, il che ci dice che comunque sia utilizzato  l’algoritmo, per prevenire crimini o per adottare scelte assunzionali, evitare il pregiudizio è un dovere e anche un diritto. Da quanto abbiamo appreso dagli organi di stampa, nello stesso documento causa del licenziamento la Gebru  poneva anche il  tema dei costi ambientali delle nuove tecnologie che comportano, ad oggi, alti livelli di emissione di CO2 per la gestione di modelli complessi  dei dati.

Anche questo è un elemento di cui dovremo tenere conto nell’implementazione di modelli organizzativi sempre più sorretti da scelte di natura algoritmica. All’atto del licenziamento della Gebru oltre 1.200 ricercatori firmarono una lettera aperta a sostegno della scienziata, accusando esplicitamente Google di "una censura senza precedenti" e di aver posto in essere un vero e proprio "atto di ritorsione“. Nonostante questo, anche Margaret Mitchell, seconda co-lead del gruppo, è stata licenziata da Google. "Questi sono attacchi alle persone che stanno cercando di rendere la tecnologia di Google più etica", ha chiosato un portavoce dell'Alphabet Workers Union, il sindacato recentemente formato dai dipendenti del gruppo.

L’onda d’urto di quanto  succede dall’altra sponda dell’Oceano arriva sino a noi. Questi, infatti, non sono più temi più di frontiera. Da più parti anche nel nostro paese si utilizza o si profetizza l’utilizzo della tecnologia informatica come supporto per il decisore umano, ma non si può invocare l’assoluta neutralità del processo algoritmico. Oggi il possesso dei dati e l’estrazione di valore, così come la progettazione di sistemi complessi che incidono sulla vita delle persone, sono i terreni su cui si gioca una partita politica che coinvolge necessariamente tutti gli attori sociali. 

La tecnologia, infatti, non è neutra e può corrispondere a fini di selezione e di esclusione, come questi studi dimostrano. Studi compiuti da scienziate, donne che hanno saputo individuare e voluto correggere le nuove frontiere della discriminazione che, seppur tecnologica, ripropone modelli e alimenta diseguaglianze vecchie di secoli. Donne che, nel caso di Google, hanno pagato un prezzo per noi inaccettabile.

*Dopo la segnalazione della ricercatrice, Ibm ha rilasciato un miglioramento del sistema per ovviare alle problematiche evidenziate. Ad oggi non sappiamo se altre aziende si siano comportate in maniera analoga