Nelle campagne della Colombia si diffondono sistemi diagnostici basati sull’intelligenza artificiale, presentati come strumenti neutri. Ma nessuna tecnologia lo è. Per una medicina che non chieda, a chi ha già poco, di rinunciare anche alla propria voce.
IN COPERTINA América Invertida (1943), di
Joaquín Torres-García
di Francesco Pacella
Un mattino qualunque, in un puesto de salud aggrappato alle montagne del Cauca, una donna entra per una tosse che non passa da settimane. Siamo nel sud-ovest della Colombia, dove le Ande si avvicinano al Pacifico: un dipartimento rurale, povero, attraversato da decenni di conflitto armato, abitato in larga parte da comunità indigene e afrodiscendenti spesso marginalizzate da parte dello Stato. Il puesto de salud è l’ultimo anello di quello Stato: il presidio più piccolo e periferico del sistema sanitario, un gradino sotto i centri di salute e molto al di sotto degli ospedali, sovente ridotto ad una sola stanza dove un unico professionista fa quel che può con quel che ha. È il punto in cui la sanità pubblica colombiana tocca le sue campagne, ed è anche il punto in cui rischia di assottigliarsi fino a sparire.
Il medico che riceve la donna ha intorno ai ventisei anni e sta facendo il suo año rural, l’anno di servizio obbligatorio che lo Stato colombiano chiede a chi si è appena laureato. Tra loro, sulla scrivania, c’è un terzo interlocutore: un tablet su cui gira un sistema di supporto alla decisione clinica, un software che incrocia sintomi, dati clinici e condizioni di vita per suggerire una diagnosi. Il medico inserisce i dati. La macchina risponde in pochi secondi, con una percentuale e una sicurezza che lui, dopo una notte di guardia, non ha. Il punto non è se quella diagnosi sia giusta. Il punto è da dove arriva quella sicurezza. Il software è stato addestrato altrove, su popolazioni che respirano un’altra aria, mangiano altre cose, si ammalano in altri modi e arrivano dal medico in altre condizioni. È stato progettato in una città, forse in un altro continente, da persone che non hanno mai visto un puesto de salud e che hanno deciso, una riga di codice alla volta, cosa conta come “normale”. Eppure si presenta alla contadina e al suo medico come uno strumento neutro: una bilancia, un termometro, qualcosa che misura e basta. È esattamente questa presunta neutralità, e non l’eventuale errore, il problema che vorrei affrontare.
La neutralità è un mito per privilegiati
Decantiamo di frequente l’oggettività degli algoritmi, e questo ci solleva: finalmente qualcosa che decide senza pregiudizi, senza stanchezza, senza simpatie o, più in generale, senza quei tipici vizi umani. È una fantasia consolante e profondamente sbagliata. Come ha mostrato la ricercatrice Abeba Birhane, non esiste uno sguardo che provenga da nessun luogo. Di conseguenza, ogni sistema diagnostico nasce da scelte: quali dati raccogliere, quali popolazioni includere, quale valore di un esame considerare “nella norma”, dove fissare la soglia oltre cui scatta un allarme. Nessuna di queste scelte è scritta nelle cose. Le fa qualcuno, da qualche parte, per qualcuno. Non serve immaginare scenari futuri per vederlo: basta guardare uno degli strumenti più diffusi e più innocui della medicina, il pulsossimetro, quella molletta che si infila al dito per misurare l’ossigeno nel sangue. È un oggetto talmente banale da sembrare al di sopra di ogni sospetto. Eppure si sa da decenni, visto che i primi studi risalgono agli anni Ottanta e altri sono usciti nei primi Duemila, che il pulsossimetro tende a sovrastimare la saturazione di ossigeno nelle persone con la pelle scura. La differenza sembra minima, ma non lo è: un paziente con una lettura del 94 per cento può avere in realtà un livello reale del 91 per cento o inferiore, una soglia a cui un medico interverrebbe. Solo che la molletta non segnala nulla. Né il paziente né il clinico vengono avvertiti che qualcosa non va. Per anni manifatturieri e regolatori hanno ignorato o minimizzato il problema, e i dispositivi tarati soprattutto sulla carnagione chiara hanno continuato a diffondersi. Solo la pandemia, quando l’ossigeno nel sangue è diventato di colpo una questione di vita o di morte per milioni di persone, ha riportato la questione all’attenzione e spinto la sanità statunitense a chiedere standard più rappresentativi. La storia del pulsossimetro è istruttiva proprio perché non c’è nessun cattivo, nessun ingegnere razzista. C’è solo una calibrazione fatta, presumibilmente, su corpi che assomigliavano a quelli di chi la faceva, e poi data per universale. Ed è qui il punto. Chi progetta questi sistemi raramente vede le proprie scelte come scelte. Le vede come ovvietà. Quando il corpo, i sintomi e i dati su cui un software è stato addestrato coincidono con i tuoi, il software ti sembra semplicemente preciso. La sua parzialità diventa invisibile proprio perché è la tua. È questo che intendo quando dico che la neutralità è un mito per privilegiati: poter credere che uno strumento sia neutro è un lusso che si può permettere solo chi quello strumento lo ha pensato a propria immagine. Per la donna del Cauca, le cui condizioni di vita non compaiono nei dati di addestramento, lo stesso software non è affatto neutro. È calibrato su un’umanità che non la contempla. Questo non significa che la macchina “sbagli” nel senso di un guasto da riparare. Significa qualcosa di più scomodo: che incorpora un punto di vista e lo spaccia per assenza di punto di vista. Gli studi sul Value Sensitive Design lo dicono da anni, e non solo a proposito della medicina: ogni tecnologia traduce dei valori in funzioni, e lo fa anche quando nessuno l’ha deciso esplicitamente. Una soglia diagnostica è un valore travestito da numero. Decidere quali sintomi il sistema “capisce” e quali ignora è una scelta su quali corpi contano. Chiamare tutto questo oggettività non lo rende oggettivo: lo rende solo più difficile da contestare. E in un ambulatorio rurale, dove il medico è giovane, solo e stanco, uno strumento che non si lascia contestare è un’autorità, non un assistente.
Una nuova forma di colonialità
C’è la tentazione di archiviare tutto questo come un difetto tecnico: dati poco rappresentativi, modello da riaddestrare, problema risolvibile con più diversità nel dataset. È una lettura rassicurante, e per questo va guardata con sospetto. Riduce a un bug quella che è invece una relazione di potere, e una relazione che ha una storia lunga. Per cominciare a vederla, conviene seguire la pista dei dati. I sociologi Nick Couldry e Ulises Mejías hanno proposto un’espressione che all’inizio suona forte, quasi esagerata: colonialismo dei dati. La loro tesi è che l’estrazione di dati dalla vita delle persone ripeta, in forma nuova, il gesto fondativo del colonialismo storico. Quel gesto consisteva nel prendere una risorsa altrui, la terra, il lavoro, i corpi, e dichiararla disponibile, libera, in attesa di essere sfruttata, come se non appartenesse già a qualcuno. Oggi la risorsa è diversa: è l’esperienza umana convertita in dato. Ma la mossa è la stessa. La cartella clinica della donna del Cauca, i suoi sintomi, le sue condizioni di vita messe in fila in un modulo, una volta digitalizzati diventano materiale che fluisce verso server lontani, dove alimenta l’addestramento di sistemi che lei non vedrà mai e che non le renderanno conto di nulla. Nessuno glielo ha chiesto davvero; e anche se le fosse stato chiesto, in un consenso informato firmato in fretta tra una visita e l’altra, resta il fatto che il valore generato da quei dati non torna a lei. La studiosa messicana Paola Ricaurte aggiunge a questo quadro la prospettiva che ci riguarda più da vicino, quella latinoamericana. Il meccanismo, mostra Ricaurte, non è simmetrico: i dati vengono estratti soprattutto dalle popolazioni del Sud globale, ma i sistemi che ne risultano vengono progettati e posseduti altrove, e poi tornano indietro, confezionati come prodotti, come soluzioni, come “innovazione”, a governare quelle stesse popolazioni. Si tratta di un circolo vizioso in cui il Sud fornisce la materia prima e riceve il prodotto finito, senza mai controllare il processo nel mezzo. Il puesto de salud del Cauca diventa così due cose contemporaneamente: un luogo da cui si raccoglie e un luogo a cui si vende. Estrazione a monte, mercato a valle, e in mezzo una catena di valore da cui chi ha generato il dato è sistematicamente escluso. Ma la questione più profonda non è nemmeno l’estrazione. Per arrivarci serve un concetto che il sociologo peruviano Aníbal Quijano ha reso celebre: la colonialità. Attenzione a non confonderla con il colonialismo. Il colonialismo, come dominio politico formale, è in gran parte finito: gli imperi si sono ritirati, le colonie sono diventate Stati. La colonialità è ciò che è sopravvissuto a quella ritirata: non più il governo diretto, ma la struttura, mentale ma anche economica e sociale, che esso ha lasciato in eredità, e che continua a stabilire quale sapere conta come sapere vero e quale invece va derubricato a superstizione, folklore, arretratezza da correggere. È la gerarchia per cui un modo di conoscere, quello scientifico, occidentale, urbano, si pone come misura di tutti gli altri. Un sistema diagnostico, allora, non importa soltanto dei dati. Importa un’idea di cosa sia la salute, di cosa sia un corpo sano, di quali segni del corpo vadano ascoltati e quali ignorati. E lo fa silenziosamente, senza nemmeno accorgersene, sovrascrivendo i modi in cui una comunità ha sempre nominato, interpretato e curato la propria sofferenza. Non li dichiara falsi: semplicemente non li contempla, e così li rende inesistenti. L’antropologo colombiano Arturo Escobar ha dato a questo processo una formula che vale la pena tenere a mente: il design, dice, non progetta soltanto oggetti, progetta veri e propri mondi. Ogni strumento porta con sé, incorporata, un’idea di realtà che dà per scontata, un’idea di chi lo userà, di come vive, di cosa ha bisogno. Quando lo strumento arriva da un solo mondo e si presenta come l’unico possibile, gli altri mondi non vengono confutati né combattuti. Vengono semplicemente resi invisibili, declassati a rumore di fondo. Ecco perché parlare di colonialità, e non solo di bias, cambia la posta in gioco. Un bias è un errore statistico: si corregge ritoccando un parametro, riequilibrando un campione, aggiungendo dati. È un problema tecnico con una soluzione tecnica. Una colonialità no. Una colonialità si affronta soltanto chiedendosi chi decide, per chi, e in nome di quale idea di mondo, e quella è una domanda a cui nessun riaddestramento del modello, per quanto accurato, può rispondere al posto nostro.
L’obiezione più scomoda
A questo punto un lettore onesto ha il diritto di interrompermi. Tutto bello, dirà, ma proviamo a cambiare prospettiva. In gran parte della Colombia rurale il problema non è un eccesso di tecnologia coloniale: è l’assenza quasi totale di medici. Il giovane in servizio nel puesto de salud è spesso l’unico professionista sanitario nel raggio di ore di strada sterrata. Non ha uno specialista da chiamare, non ha un secondo parere, non ha il tempo. In quelle condizioni, un sistema diagnostico imperfetto, parziale, “tarato su un’altra umanità”, può comunque essere la differenza tra riconoscere una tubercolosi e rimandare la paziente a casa con uno sciroppo. È relativamente facile criticare la colonialità dei dati dalla scrivania di un dipartimento di bioetica. Lo è molto meno quando hai davanti una paziente e nessun altro a cui chiedere. È un’obiezione seria, e va presa sul serio fino in fondo, perché contiene una verità che la critica decoloniale rischia di dimenticare. Rifiutare uno strumento utile in nome della sua purezza è un lusso anch’esso. C’è un paternalismo rovesciato sempre in agguato: decidere, da fuori e dall’alto, che le comunità rurali farebbero meglio a restare senza tecnologia piuttosto che adottarne una imperfetta, è un modo di parlare al posto loro non meno arrogante di quello che si voleva denunciare. Chi vive davvero la penuria sanitaria raramente ha il privilegio di preferire il nulla a uno strumento sbagliato. E c’è di più: l’alternativa esiste, e non è teorica. L’idea che il bias sia correggibile diventa concreta nel momento in cui chi conosce il contesto smette di importare modelli e comincia a costruirne di propri. È esattamente quello che è successo, in Colombia, a partire da un foglio Excel. Per anni lo pneumologo Carlos Awad, dell’Hospital Santa Clara di Bogotá, un ospedale nato come sanatorio antitubercolare, aveva annotato i dati dei pazienti incontrati nelle brigate sanitarie nelle zone vulnerabili. Da quel registro artigianale è nato, insieme all’ingegnere Álvaro David Orjuela Cañón, un sistema di supporto alla diagnosi della tubercolosi pensato per il contesto colombiano: addestrato non su variabili astratte, ma su quelle che in Colombia fanno la differenza, come il quartiere di residenza, le condizioni dell’abitazione, il numero di persone con cui il paziente convive, l’accesso effettivo al sistema sanitario. Non è un caso che funzioni: in Colombia la tubercolosi ha un volto sociale preciso, e i dati lo confermano, con l’enorme maggioranza dei casi concentrata negli strati più poveri e tra le popolazioni più fragili, dai detenuti ai migranti alle comunità indigene. Un modello che ignora questo non vede la malattia; un modello costruito attorno a questo la riconosce. Quel che colpisce è la lucidità con cui Orjuela nomina il problema di fondo. Le differenze nella disponibilità di dati, dice, sono abissali: la Cina, con le sue megalopoli, conduce studi con facilità, mentre in Colombia tocca “scavare” nei dati, raccoglierli a mano, contrattarli con le istituzioni. E lo scopo, nelle sue parole, è disarmante nella sua concretezza: dare una mano a quel medico che in certe zone ha solo un puesto de salud, senza specialisti né laboratori. Non un oracolo calato dall’alto, ma uno strumento costruito da chi quel contesto lo abita, per chi lo abita. Vale la pena aggiungere che si tratta, per ora, di un progetto di ricerca e non di un prodotto già diffuso negli ambulatori: ma proprio per questo indica una direzione, più che un traguardo raggiunto. Tutto questo è vero, e va tenuto stretto. Ma dimostra meno di quanto sembri. Dimostra che lo strumento può servire, e perfino che può essere riprogettato in modo più giusto, non che il modo in cui arriva sia indifferente. Le due cose vengono regolarmente confuse, e la confusione è interessata: serve a chi vende il software a presentare ogni critica come un attacco al diritto alla cura. Eppure dire “questo sistema può salvare vite” e dire “questo sistema va adottato così com’è, dall’alto, senza che chi lo userà abbia voce in capitolo” sono affermazioni diverse, e solo la prima è ovvia. Il progetto del Santa Clara conferma proprio questo: la differenza non era tra avere e non avere la tecnologia, ma tra subirla e costruirla. Il problema non è mai stato l’esistenza dello strumento. È la cancellazione di chi lo riceve dal processo che lo produce.
Progettare con, non per
E qui la critica, se vuole essere qualcosa di più di una denuncia, deve trasformarsi in proposta. Dire che la neutralità è un mito non basta; serve dire cosa mettere al suo posto. E la risposta, come mostra proprio l’esperienza colombiana del Santa Clara, non è meno tecnologia, ma una tecnologia progettata diversamente. Esiste un modo di pensare la progettazione che parte esattamente da qui. Il Value Sensitive Design, l’approccio che ho usato come bussola in questa ricerca, sostiene una cosa in apparenza banale e in pratica rivoluzionaria: i valori di chi userà e di chi subirà una tecnologia vanno messi dentro il progetto fin dall’inizio, non aggiunti come correttivo alla fine, quando ormai l’architettura è decisa e si può solo ritoccare. Non si tratta di consultare il medico rurale e la contadina a software già fatto, per farli sentire ascoltati con un sondaggio di facciata. Si tratta di considerarli portatori di un sapere, sulla salute, sul corpo, sulla malattia, su come una comunità convive con essa, che il sistema deve incorporare e non sovrascrivere. A questa attenzione il framework aggiunge un secondo principio, che il filosofo Steven Umbrello ha posto al centro del suo lavoro: il controllo umano significativo. La parola chiave è “significativo”, perché serve a distinguere un controllo reale da uno solo apparente. Non basta che ci sia un essere umano a premere un pulsante perché si possa dire che è lui a decidere. Il medico che clicca “accetta” su una diagnosi che non capisce, che non può interrogare e di cui non vede le ragioni, non sta esercitando un controllo: sta ratificando, e in caso di errore sarà anche l’unico a risponderne. Controllo significativo vuol dire due cose insieme: che il sistema risponda effettivamente alle ragioni di chi lo usa, lasciandosi interrogare, contestare, correggere, e che ci sia sempre qualcuno, lungo tutta la filiera che va dal progettista al clinico, in grado di comprendere davvero cosa fa la macchina e di riconoscersene responsabile. Uno strumento, insomma, costruito per lasciarsi discutere, non per esigere obbedienza. È una differenza che si gioca tutta in una preposizione. Progettare per le comunità rurali significa partire dal presupposto di sapere già di cosa hanno bisogno, e portarglielo, pronto all’uso. Progettare con loro significa accettare di non saperlo, e riconoscere che il sapere necessario è in parte già lì, in quel puesto de salud, nelle mani di chi cura quelle persone da sempre. La prima strada produce strumenti che funzionano finché nessuno fa domande, e che si rompono silenziosamente, come il pulsossimetro, appena incontrano un corpo che non avevano previsto. La seconda produce strumenti più lenti da costruire, più scomodi, più costosi, e infinitamente più giusti. E tuttavia sarebbe disonesto fermarsi qui, come se avessimo trovato la formula. Il Value Sensitive Design ha un grande merito: obbliga chi progetta a guardare non solo chi usa lo strumento, ma chi lo subisce. Distingue tra chi aziona il sistema, il medico, e chi ne incassa gli effetti senza toccarlo, la paziente, e impone di proteggere anche e soprattutto la seconda, che quasi mai ha avuto voce nel processo di sviluppo. È un framework che vede lo squilibrio di potere, e si propone di colmarlo. Ma c’è una cosa che, per scelta deliberata dei suoi stessi teorici, non fa: non dice quali valori debbano prevalere, né chi abbia la legittimità di deciderlo. Offre un metodo per tradurre i valori in codice e per custodirli nel tempo, e resta volutamente neutro sul contenuto, così da potersi adattare a qualunque contesto. È un pregio, sulla carta. Ma è anche una sedia lasciata vuota. E una sedia vuota, in un contesto segnato dalla colonialità, non resta vuota a lungo. La domanda che il metodo lascia aperta, quali valori e in nome di quale idea di salute, di corpo, di mondo, non si decide in uno spazio neutro: si decide dentro rapporti di forza che esistono già, e che da secoli stabiliscono quale sapere conta e quale è folklore da correggere. Includere la contadina come “portatrice di interesse indiretta” da tutelare è un passo avanti reale, ma non è ancora restituirle il potere di decidere le regole del gioco; e se quelle regole continuano a essere scritte altrove, anche il più scrupoloso dei processi partecipativi rischia di raccogliere la sua voce solo dopo averla tradotta in una lingua che non è la sua. Il VSD, insomma, è necessario ma insufficiente: ci dice come progettare con onestà, non chi abbia titolo a tracciare i confini entro cui quella progettazione avviene. E quella non è una domanda tecnica. È una domanda politica, che nessun metodo può sciogliere al posto nostro.
Siamo capaci di costruire una tecnologia della cura che non chieda, a chi ha già poco, anche di rinunciare alla propria voce? O continueremo a chiamare progresso ciò che arriva da un solo mondo e si presenta come l’unico possibile?
0 comments on “La neutralità è un mito per privilegiati”