Un esercito silenzioso, anonimo, che comanda le vostre vite online. Sono tra i 100 e i 150mila i moderatori dei contenuti sulle piattaforme social, da YouTube a Facebook passando per Instagram, Twitter e l’emergente Tik Tok. Il numero preciso non esiste, perché non hanno nome, né volto, costretti al silenzio da accordi di riservatezza e volutamente nascosti dietro le interfacce digitali, indistinguibili da quell’intelligenza artificiale.
Il loro mestiere consiste nel controllare il contenuto di articoli, pubblicità, fotografie, video e messaggi privati in chart. «Lavorano grazie agli algoritmi e per gli algoritmi, monitorati costantemente da questi ultimi» racconta Jacopo Franchi, social media manager di 33 anni autore di Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti pubblicato da Agenzia X. Uno dei pochi libri in Italia che scava dentro una professione senza carta d’identità. A partire dalla domanda da parte delle aziende: le posizioni di lavoro sono sempre collaterali, mai esplicite. Nessuno risponde a un annuncio da “moderatore di contenuti” nei grandi social media. «Si scopre al colloquio quale sarà il vero impegno, dopo aver accettato clausole di riservatezza – spiega Franchi. Quello che sappiamo del lavoro di moderatore di contenuti filtra attraverso le testimonianza, spesso anonime di chi l’ha già fatto. E non è mai completo».
Tra luci e ombre, il loro ruolo è sempre più importante. I social network da anni sono diventati il principale teatro di hate speech razziale o omofobico, truffe e fake news. Sempre più piattaforme hanno aumentato esponenzialmente gli investimenti sul controllo dei contenuto, dopo cause e attacchi. Gli algoritmi, da soli, non bastano perché riconoscono soltanto i contenuti di cui esiste uno storico di rimozioni, come nel caso di immagini di nudo. I miraggio di un ruolo così delicato affidato esclusivamente alle macchine è superato: impossibile che la moderazione funzioni senza l’intervento umano.
Quale sia il rapporto tra moderazione affidata all’algoritmo e quella all’occhio umano cambia per ogni piattaforma, d’altronde, i tempi di risposta e la policy – ma la giornata tipo di un moderatore è ovunque la stessa. Migliaia di persone lavorano di fronte ad uno schermo dove scorrono, potenzialmente all’infinito, elementi da controllare. Una media di oltre mille al giorno: foto, ma anche video da due minuti come di un’ora. L’approvazione non lascia tracce al content creator, mentre l’eliminazione del contenuto produce un avviso e la sua immediata scomparsa. Ma senza sapere se sia stato eliminato da un algoritmo o da un essere umano: «C’è chi ha denunciato la piattaforma per danno di immagine, ma sono ancora casi isolati – racconta Franchi – e dal momento in cui il contenuto viene rimosso alla fine della causa passa troppo tempo».
Il vuoto legislativo è l’altro grande tema del mondo del controllo sui social network. In Germania nel 2017 è entrata in vigore la “Facebook Law”, così è conosciuta, una norma che potrebbe portare tutti i principali social network tedeschi a dover pagare cospicue multe per non aver eliminato entro 24 ore contenuti ritenuti illegali, inclusi quelli legati all’hate speech, alla diffamazione e all’incitamento alla violenza. Sta facendo scuola in tutto il mondo, ma la centro restano loro. Donne e uomini alla rincorsa della censura prima che i contenuti, migliaia di nuovi al secondo, diventino virali».

Hacker’s Dictionary. Il 30 giugno si è celebrato il Social Media Day per ricordare l’importanza delle piattaforme social nella comunicazione. Ma andrebbe dedicato ai moderatori, spesso sfruttati e malpagati, che li fanno funzionare.

Il 30 giugno, ieri, si è celebrato il Social Media Day, la giornata mondiale dei social media. La celebrazione nacque nel 2010 quando Mashable decise di sottolineare in questo modo l’impatto dei social media nella comunicazione globale. Erano già passati 13 anni dal lancio della prima piattaforma social, Sixdegrees, fondata nel 1997 da Andrew Weinreich, per consentire ai suoi utenti di elencare amici e familiari, profili e affiliazioni scolastiche.
Seguito dalla nascita di Friendster, MySpace, Facebook e poi Twitter, Instagram, LinkedIn, TikTok, i social media oggi hanno 4,3 miliardi di iscritti a livello globale con una crescita di mezzo milione di nuovi utenti ogni anno. E oggi più del 53% della popolazione mondiale è membro di almeno un social.
Ma non c’è da stare allegri. Se ieri l’azienda di cybersecurity Check Point Software ha messo in guardia gli utenti dagli attacchi che puntano a rubare gli account di queste piattaforme, il pericolo è un altro: quello di dargli la possibilità di decidere ciò che è lecito e ciò che non lo è. Decidere ciò che è falso e ciò che è vero, secondo criteri fintamente neutrali che dipendono da chi li applica, i moderatori, e dalle cangianti e complesse policy a cui devono sottostare.
L’ha spiegato bene Jacopo Franchi nel libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti (Agenzia X, 2021) che racconta le storie di questi supereroi del digitale senza i quali gli algoritmi che gestiscono i feed non potrebbero funzionare.
Un esercito di circa 150 mila persone dislocate in tutto il mondo – 1000 solo a Berlino – che devono rimanere ignote agli utenti per illuderci della neutralità delle piattaforme stesse, che però non esisterebbero senza i moderatori in quanto come ha detto Tarleton Gillespie “L’attività di moderazione cambia il modo in cui percepiamo la piattaforma: non è un modo per diffondere ciò che pubblichiamo, ma uno strumento che definisce la realtà che vediamo.”
Con un effetto aggiuntivo, quello di farci credere alla “scomparsa del lavoro umano e alla completa automazione di certi compiti”; e un altro peggiorativo: illuderci di trovarci di fronte a un’intelligenza artificiale perfetta ed equidistante che non sbaglia mai, quando invece ci troviamo di fronte ad esseri umani che valutano i post che pubblichiamo in rete. Un essere umano che non può e non deve interagire con gli utenti che fanno le segnalazioni, che chiedono una rimozione, che cercano una relazione. La policy a cui sono sottoposti i moderatori non lo consente, pena il richiamo prima e il licenziamento dopo.
Ma se empatizzare con gli utenti è impossibile, i moderatori devono gestirne i contenuti emotivi, rabbiosi, pericolosi, che l’algoritmo non è programmato a discernere.
Così, quello che parrebbe un lavoro a bassa specializzazione implica la complessità di capire se il video di un crimine può essere lasciato online come prova per chi dovrà perseguirlo o decidere come trattare la fake news di un politico e di un adolescente. Come ha raccontato un raro whistleblower del settore: “Ogni moderatore deve gestire circa 1300 contenuti giornalieri ed ha pochissimo tempo per reagire a una segnalazione e prendere una decisione che deve diventare automatica”.
La scelta finale è rimanere fedeli alla routine: “visualizza, elimina, passa al successivo”. Una sorta di catena di montaggio digitale con turni massacranti che finisce solo con l’esaurimento psicofisico dei lavoratori pagati a cottimo che, in simbiosi con l’algoritmo, decidono se un contenuto diventerà virale o meno. Il Social Media Day andrebbe dedicato a loro.

A moderare commenti, post, reazioni e video è un esercito di esseri umani. Guardano e, giudicando sulla base di direttive che cambiano ogni giorno, decidono se cancellare o lasciare. È un’occupazione ancora misteriosa (e spesso con condizioni lavorative di serie B) intorno alla quale Jacopo Franchi ha tratto un libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti è primo libro italiano sul lavoro nascosto dei moderatori dei social, ovvero coloro che decidono cosa può apparire e che cosa deve essere rimosso dai nostri flussi di informazione online.
Sono lavoratori che revisionano i contenuti di YouTube, Facebook, Twitter o TikTok, dopo che questi sono stati resi virali dagli algoritmi, e che partecipano in egual misura alla “lotta” e alla collaborazione tra intelligenza umana e artificiale. Secondo le stime sarebbero oltre 100mila le persone incaricate di rimuovere post, foto e video segnalati dagli utenti dei social media. E tutto ciò si verifica ogni giorno dietro ai nostri schermi, mentre inconsapevoli navighiamo distrattamente sul web annegando in un flusso costante di notizie che sono solo una piccolissima parte di ciò che potremmo vedere, se non ci fossero i moderatori. Una sorta di iceberg.
Gli obsoleti (Agenzia X Edizioni, 2021) racconta il loro lavoro, ispirandosi a esempi tratti da numerosi fatti di cronaca: dalla pandemia a Donald Trump, dalla guerra in Siria alle violenze in Birmania, dai casi di revenge porn all’hate speech, e l’attualità non manca di aggiornarsi e fornirci altri esempi, come nel caso della moderazione massiccia di contenuti sull’ultima guerra di Gaza avvenuta recentemente.
Certo, senza di loro le piattaforme non sarebbero come le conosciamo. Ma ci sono alcuni aspetti che emergono dal libro e che vanno certamente tenuti in considerazione: l’invisibilità (stringenti accordi di riservatezza sulla privacy e qualifiche camaleontiche), le pressioni psicologiche date dai ritmi forsennati del lavoro (vengono revisionati fino a 1.500 contenuti a turno a moderatore per paghe e percentuali d’errore consentite bassissime) e infine i traumi derivati dai contenuti cui sono sottoposti quotidianamente (a maggio 2020 Facebook ha accettato di risarcire fino a 52 milioni di dollari un gruppo di moderatori per questo motivo).
Attraverso l’analisi di oltre 250 tra articoli, inchieste, testimonianze e ricerche pubblicate negli ultimi dieci anni, Jacopo Franchi, social media manager milanese autore del volume, ricostruisce le modalità di svolgimento di una complessa opera di sorveglianza e censura globale, e l’impatto politico e culturale di quest’ultima sulla nostra società
La moderazione di contenuti “colpisce” sempre più persone, anno dopo anno. Qualche settimana fa, sul Wall Street Journal, è uscito un articolo intitolato “Dentro la prigione di Facebook”. Molti utenti di social, riporta l’articolo, stanno scontando una pena per infrazioni che non capiscono. Il problema, in crescita da anni, è sempre più sentito, anche a causa del ruolo che le società di social media hanno sul flusso di informazioni. L’idea alla base dovrebbe essere quella di portare le persone a capire dove tracciare il confine sui diversi tipi di contenuti e invitare alla discussione. Ma, per esempio, l’uso dell’automazione per la moderazione su larga scala è ancora troppo poco dettagliato e spesso rischia di commettere errori. «La “prigione” di Facebook, così come emerge dal Wall Street Journal, è una metafora efficace», spiega Franchi. «Descrive tutte quelle forme di penalizzazione temporanea che colpiscono un utente, una pagina, un canale o un gruppo social accusati (a torto o a ragione) di aver violato una delle regole di policy delle piattaforme digitali stesse. Ad oggi, non sappiamo quante persone si trovino nella prigione di Facebook (o di qualsiasi altro social), né quante persone si siano ritrovate in passato a fare i conti con contenuti rimossi, pagine bloccate, account pubblicitari temporaneamente sospesi da un moderatore di contenuti umano o da un sistema automatico». Il processo attraverso cui le piattaforme decidono di penalizzare un utente anziché un altro, una pagina anziché un’altra, «è tuttora opaco e non prevede alcuna forma di risarcimento verso gli utenti che sono stati ingiustamente ed erroneamente penalizzati. Al massimo, le piattaforme concedono di fare appello contro la decisione dei moderatori, ma senza fornire alcuna garanzia per quanto riguarda la trasparenza del processo di revisione stesso, l’imparzialità del revisore e le tempistiche entro cui la richiesta di appello verrà gestita». A tal proposito, è importante ricordare come anche nel 2021 i social media abbiano pubblicato i loro report sulla trasparenza annuali, riguardanti le attività di moderazione compiute sulle proprie piattaforme. Il tema che risalta è che, nonostante tutto, resta ancora un importante scollamento tra numeri e persone. Si tratta, perlopiù, di dati senza una vera e propria analisi. Cosa dimostrano? Come si può leggere i numeri con più profondità? «Il problema, se così vogliamo chiamarlo, è che si tratta di dati elaborati internamente dalle stesse aziende che svolgono attività di moderazione sulle proprie piattaforme», commenta Franchi. «Nessuno di questi report riporta al suo interno un solo esempio concreto dei contenuti che sono stati rimossi, non rimossi o rimossi per errore: né i normali utenti, né i giornalisti, né tantomeno i ricercatori possono verificare quali siano stati nella realtà i milioni di post di disinformazione eliminati, i milioni di messaggi d’odio rimossi, i milioni di contenuti violenti censurati da un essere umano o da un sistema automatico. Non c’è modo di interrogare questi dati, né di individuare un confine netto tra gli interventi di moderazione di presunte intelligenze artificiali e gli interventi compiuti da un moderatore di contenuti umano».
Paradossalmente, «il dato più rilevante che emerge da quasi tutti i report è l’enorme quantità di errori compiuti nell’atto di censurare i contenuti: questo dato si trova solitamente alla voce “contenuti riammessi”, in seguito a un appello degli utenti o a un secondo controllo interno compiuto dalle piattaforme. È stupefacente notare come ogni giorno siano migliaia i contenuti e gli account rimossi per errore e ripubblicati non si sa quanto tempo dopo rispetto all’intervento di moderazione, né quali siano state le conseguenze – economiche, reputazionali, sociali – per le persone e le pagine che sono state erroneamente penalizzate e censurate».
Un’altra riflessione importante è che non dobbiamo dimenticare le persone, anche se il digitale sempre più spesso ci porta in quella direzione. E, soprattutto, non dobbiamo dimenticare i diritti delle persone e dei lavoratori: in un futuro nemmeno così lontano o distopico, si potrebbero paragonare i rider ai moderatori di contenuti, in termini di diritti riguardanti il lavoro? «Il paragone che faccio nel libro tra moderatori di contenuti e lavoratori della gig economy», continua Franchi, «si basa non solo su una identica assenza di diritti riguardanti il proprio lavoro, quanto sulla natura organizzativa del lavoro stesso: come i food rider, anche i moderatori di contenuti sono tra i primi e più diffusi esempi di lavoratori che sperimentano una organizzazione del lavoro fondata sugli algoritmi e sull’intermediazione di sistemi automatici al posto di responsabili e dirigenti “umani”. Come i gig worker, anche i moderatori lavorano seguendo le indicazioni di un algoritmo che organizza l’ordine di priorità della “coda di revisione” dei contenuti segnalati dagli utenti. Come i gig worker, anche i moderatori possono essere soggetti alla valutazione di un algoritmo riguardante la loro percentuale di errore sui contenuti revisionati. Come i gig worker, anche i moderatori vengono selezionati da un algoritmo che propone loro un’offerta di lavoro per un ruolo che non avrebbero altrimenti cercato attivamente, perché camuffato sotto altre denominazioni (solitamente le offerte di lavoro per moderatori sono per community specialist, o per l’assistenza clienti)».
Infine, «Come i gig worker, anche i moderatori rappresentano la forza lavoro più consistente – anche se non assunta con contratti da dipendente – di aziende tecnologiche che sono state superficialmente ritenute in grado di fare a meno del lavoro umano, in ragione dei loro colossali investimenti in tecnologie automatiche». Ma chi sono quindi gli obsoleti del titolo? «Nell’accezione comune del termine», spiega Franchi, «l’essere umano diventa “obsoleto” quando non è più in grado di aggiornare le proprie competenze alle nuove richieste del mercato del lavoro fondato sulle nuove tecnologie digitali. I moderatori di contenuti, in questo senso, sembrano essere il prototipo dei lavoratori obsoleti: privi di competenze digitali avanzate, sono le ultime persone che ci aspetteremmo di trovare al lavoro per un’azienda come Facebook, Google o Twitter, non avendo particolari competenze o qualifiche. Eppure, essi non solo sono indispensabili alla sopravvivenza delle aziende tecnologiche più importanti al mondo, ma sono tutto fuorché refrattari all’aggiornamento continuo: fin dal primo giorno di lavoro come moderatori sono obbligati a memorizzare e applicare le regole di pubblicazione delle piattaforme, regole che cambiano di continuo e che li costringono a un continuo oblio delle regole passate e memorizzate in precedenza. Ed è qui, forse, che si trova la difficoltà maggiore per un moderatore, oltre all’estrema violenza di alcuni contenuti che è chiamato in alcuni casi a revisionare: la difficoltà, in poche parole, di dimenticare a comando ciò che ieri era ammesso e ciò che era proibito, per applicare nuove regole di moderazione decise dall’azienda, senza alcuna possibilità di confronto o discussione interna. In questo senso, la condizione dei moderatori mi sembra paradigmatica della condizione di intere classi di lavoratori delle nuove aziende digitali, costretti a un processo di oblio delle conoscenze e competenze passate per acquisire ogni volta nuove conoscenze e competenze in linea con le richieste delle aziende per cui lavorano, senza voce in capitolo sul processo di aggiornamento».
In tutto questo marasma, però, è bene sottolineare che ci sono anche iniziative per districarsi nella complessità dell’argomento. Franchi, infatti, oltre a questo libro e al precedente, “Solitudini connesse”, sempre pubblicato con Agenzia X Edizioni, gestisce un blog, “Umanesimo digitale”, che ha l’obiettivo di dare uno sguardo d’insieme sul nuovo mondo digitale.
Ed è lì che ha introdotto un glossario sui moderatori di contenuti: ogni settimana, una nuova voce, finché ci saranno argomenti da aggiungere. «Per avvicinarsi al mondo “sommerso” dei moderatori di contenuti», conclude Franchi, «è necessario impadronirsi di alcuni termini tecnici essenziali: che cosa vuol dire “segnalare” un contenuto, che cosa vuol dire fare “appello” contro una decisione dei moderatori, che cosa sono le “policy” e via dicendo. Il mio vuole essere un primo tentativo di creare un approccio sistematico allo studio della moderazione di contenuti a partire dal ruolo e dalle responsabilità dei moderatori: tutte le piattaforme digitali impiegano un numero variabile tra le poche decine e le migliaia di moderatori di contenuti, non esistono a oggi social media, app o siti di e-commerce che possano fare a meno dell’apporto di un esercito invisibile di “operai del click” per esaminare le segnalazioni degli utenti e limitare le possibili crisi reputazionali innescate dalla diffusione di contenuti, prodotti, messaggi, notizie da parte degli stessi algoritmi delle piattaforme coinvolte nel processo. Una volta constatato questo stato di cose, e contraddetta l’illusione di una moderazione “automatica” e imparziale, è venuto il momento di operare delle distinzioni tra moderatori professionisti e volontari, tra policy interne e policy esterne delle piattaforme, tra moderatori e fact-checker, per non incorrere più in inutili semplificazioni e banalizzazioni di un problema sempre più attuale».

I forzati, loro, sono illusionisti. Tolgono il male dal web per migliorarlo. Le peggiori atrocità del mondo, declinate in qualunque forma di violenza. I moderatori di contenuti online vivono all’ombra delle grandi piattaforme e lavorano per riempire le mancanze degli algoritmi, anime guida del virtuale. Valutano le segnalazioni ricevute dagli utenti su immagini e sequenze video: ognuno ne osserva circa 1000 al giorno, una ogni 30 secondi. Le guardano e scelgono cosa fare. Oscurarle, lasciarle intatte o limitarne la visione. Decidono in base alle regole stabilite dall’azienda per cui lavorano. L’attività dei moderatori è necessaria perché non sempre l’intelligenza artificiale sa individuare – da sola – un contenuto violento o offensivo. Hanno contratti precari e ritmi pressanti. Firmano accordi con i quali garantiscono fedeltà e silenzio. Vivono un paradosso: cancellano (per gli altri) contenuti che su di loro lasciano segni indelebili. Spesso, non resistono. Solo pochi mesi, si stima. Passati questi, lasciano. Molti hanno disturbi da stress post traumatico: per quello che hanno visto e la frequenza con cui lo hanno visto. Sono circa 100-150mila in tutto il mondo, ma è quasi impossibile reperire dati precisi. Il loro contributo, benché fondamentale, è minimizzato.
Jacopo Franchi, 33 anni, social media manager e autore del blog Umanesimo digitale, li ha ritratti nel suo ultimo libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti, edito da Agenzia X. “Nel mio primo saggio Solitudini connesse, c’era un capitolo riservato a questa categoria di lavoratori, incaricati di valutare le segnalazioni degli utenti. Ha sollevato grande attenzione nei lettori, ricordo di aver ricevuto molte domande. Ho capito così che sarebbe stato un tema da approfondire”, piega. Ha perciò raccolto il materiale a disposizione su giornali, inchieste, testi specifici: oltre 200 testimonianze, molte anonime. Franchi vede nei moderatori i rider del mondo digitale. Per la precarietà dei contratti con cui vengono assunti – non dalle piattaforme, ma da aziende terze – per i turni massacranti, per la facilità con cui vengono sostituiti. “Ma anche per come si approcciano al lavoro, cioè in modo del tutto casuale: spesso è quest’ultimo che raggiunge loro. Come i rider, non dispongono di competenze specifiche. Basta abbiano tempo a disposizione. E come i colleghi del delivery dipendono da algoritmi.”
Tracciarne la storia è complesso, proprio perché le aziende tendono a oscurarne l’attività. “La loro esistenza non viene negata, ma nascosta. Per gli utenti è quasi impossibile capire se un contenuto è stato rimosso da un essere umano o dalla macchina”, continua Franchi. Il numero dei moderatori è aumentato con la comparsa delle inserzioni all’interno delle piattaforme: “Che si sono trasformate da canali di condivisione in sistemi pubblicitari. L’algoritmo si è così messo al servizio delle vendite e anche chi ne gestisce i contenuti ha dovuto adeguarsi”. L’incremento di testimonianze si registra fra il 2012 e il 2013. Franchi li ha chiamati “obsoleti” per rimarcare una contraddizione: “Secondo molte teorie e previsioni, le persone senza competenze digitali diventeranno obsolete, proprio perché prive della capacità di aggiornarsi per stare al passo con il progresso. E invece sono loro a mantenere in piedi le maggiori aziende tecnologiche al mondo”. I moderatori di contenuti infatti non hanno quasi mai conoscenze in campo informatico, provengono da studi umanistici o lavori manuali. Il termine “obsoleti” nel saggio compare solo due volte. All’inizio e alla fine. Mai in mezzo: “Volevo proporre al lettore un cambio di prospettiva. Dall’obsolescenza del lavoro umano come incapacità di aggiornarsi all’obsolescenza del lavoro umano come estrema difficoltà di dimenticare a comando. Quest’ultima condizione riguarda chiunque sia costretto, appunto, ad aggiornarsi di continuo per rincorrere le nuove policy imposte dalle aziende. Si può fare, ma non ci si può scordare dei regolamenti precedenti come se niente fosse. Restano”. Così come resta l’esperienza di moderatore, anche se vissuta per un tempo limitato. Lascia segni sulla vita personale: molti smettono di usare i social, alcuni non riescono a guardare scene violente o film di guerra, perché evocativi di quanto osservano tutti i giorni. Franchi riporta una testimonianza in apertura del capitolo Smaltire le scorie: “Mi sono reso conto di aver bisogno di una terapia quando mi hanno mostrato la foto di un’attività apparentemente innocua e mi hanno chiesto di dire ad alta voce la prima cosa che mi veniva in mente. ‘Oddio, che schifo’ ho pensato. Ma era solo la foto di un padre e di un figlio” (Reyhan Harmanci, Tech Confessional: The Googler Who Looked at the Worst of the Internet). Il moderatore in questione aveva passato mesi a eliminare immagini di violenze sui minori. Ormai, vedeva il male anche dove non c’era.
Soluzioni per uscirne? Al momento ancora poche. Rispetto agli anni passati sono stati avviati accorgimenti: “Video in bianco e nero, volti oscurati. Alcune aziende propongono anche un supporto psicologico. Ma l’impressione è che con tali espedienti si viglia rendere questi lavoratori più resistenti e capaci di portare avanti il proprio compito”. Maggiori benefit per una maggiore produttività. “Manca invece una imitazione specifica delle ore di lavoro e dei contenuti che ognuno può vedere in un giorno. Eppure sarebbe la cosa più utile”, spiega Franchi. Immagine dopo immagine, i moderatori limano il mondo che passa fra schermi e tastiere. Ma attenzione a non pensarli come angeli al servizio della comunità, precisa l’autore. Non lavorano per gli utenti, ma per le piattaforme. Di cui custodiscono i segreti – non li tradiranno mai, per vincoli contrattuali – seguendo aggiornamenti e regole precise. In alcuni casi non possono neanche citare la propria professione su LinkedIn. Non si sa per quanto tempo ancora i moderatori di contenuti saranno necessari , né fino a quando le loro condizioni professionali resteranno quelle attuali. “Io credo che un mondo digitale etico sia possibile. Bisogna però pensare a una redistribuzione del potere”, continua Franchi. “È importante chiedersi se le grandi piattaforme possano avere al tempo stesso facoltà di dare e togliere la visibilità. Con gli algoritmi la danno, con i moderatori la tolgono”. Corsa a doppio ritmo. “Ho dubbi sul fatto che l’esperienza digitale degli utenti possa migliorare finché questi due poteri saranno concentrati nelle stesse aziende”. Si rischia un’alternanza confusa: alcuni aspetti della comunicazione vengono a tutti gli effetti moderati, altri meno. “L’esempio più celebre è Trump. Quattro anni di massima visibilità che negli ultimi mesi è stata bloccata. Un’operazione contraddittoria”.
Nell’attesa di trovare un equilibrio, i moderatori procedono. Invisibili, impegnati a colmare i deficit cognitivi di un’intelligenza artificiale che, se vuole essere tale, ha bisogno di esseri umano. Per ora.

Quello dei social è un mondo edulcorato, popolato per lo più di sorrisi, di esperienze leggere, serene, di quello che vorremmo essere e vedere. Sulle home di Facebook, Instagram, sugli stessi motori di ricerca di rado compaiono sangue, violenza o morte. Anche la ferocia dei leoni da tastiera ha vita breve e le poche immagini forti sono introdotte da un avviso. Tutto ciò grazie al lavoro dei moderatori di contenuti, che, in seguito a segnalazioni da parte degli utenti, visionano ed eliminano le foto, i post, i video, i commenti che violano il regolamento della piattaforma perché troppo aggressivi, violenti o, peggio, truci.
Ne parla il libro di Jacopo Franchi Gli obsoleti, edito da Agenzia X (pp. 288, euro 15). «In un mondo dove gli algoritmi possono rendere virale la diretta streaming di un concerto come quella di un attentato terroristico, un’immagine di nudo artistico come la prova fotografica di un abuso sessuale, un prodotto accompagnato da recensioni veritiere come un prodotto accompagnato da recensioni manipolate, i moderatori di contenuti svolgono un ruolo essenziale per rimediare agli errori di selezione compiuti da macchine automatiche», scrive l’autore, social media manager e osservatore dei fenomeni virtuali. Le insidie sarebbero dovunque, se non fosse per i moderatori, dediti a ripulire la rete dalle nefandezze umane. Primo libro in Italia sull’argomento, Gli obsoleti ha il merito di gettare luce su un tema soltanto sfiorato dalla stampa italiana e, al contrario, già battuto nel mondo anglosassone. Le inchieste uscite negli Stati Uniti si fondano sulle confidenze dei pochissimi ex moderatori decisi a denunciare le condizioni di lavoro. Questi, infatti, firmano un accordo di riservatezza molto rigido, per cui non possono parlare di ciò che fanno a nessuno, nemmeno a grandi linee. Spesso la loro esistenza è sconosciuta perfino ai colleghi di altri settori. Negli annunci di lavoro sono vaghi e indefiniti: cercasi «contractors», «community operations team members», «social media analyst», «legal removal associate». Fa leva il nome dell’azienda: Google, Facebook, Tik Tok, Youtube o qualcun altro della Silicon Valley.
Le assunzioni si svolgono poi a livello internazionale e gli uffici sono dislocati in tutti i continenti, affinché qualcuno vigili sugli schermi 7 giorni su 7, 24 ore su 24. Durante un turno di lavoro, il moderatore medio gestisce circa 1300 segnalazioni, a cui deve reagire in pochi secondi per smaltire i contenuti accumulati in coda. Per andare in bagno ha il tempo cronometrato e la sua paga si aggira intorno ai 10-15 dollari l’ora, all’equivalente nei Paesi non occidentali. «Il lavoro di moderatori offre ad anziani, giovanissimi, migranti, donne nel pieno dell’età fertile, persone con disabilità motorie, genitori single e persone con alle spalle un passato difficile un ritorno a un ruolo attivo nella società», si legge ne Gli obsoleti. Un ruolo che molti pagano a caro prezzo, spesso con il disturbo da stress post-traumatico. Nel frattempo, con la loro invisibilità, alimentano il mito della macchina. Sempre più vivo al di qua dello schermo.

La rimozione di contenuti su Gaza e Israele ci riporta al nocciolo della questione: la moderazione online è un’attività sotto gli occhi di tutti, eppure è ancora una delle meno conosciute del web

Mentre le bombe cadono su Gaza, molti contenuti che mostrano o commentano la pesante ricaduta della crisi israelo-palestinese spariscono dai social network. “Facebook e Twitter stanno sistematicamente silenziando gli utenti che protestano e documentano gli sgomberi di famiglie palestinesi dalle loro case a Gerusalemme”, denunciano in una lettera aperta circa trenta organizzazioni. È vero? Se sì, chi è stato? E soprattutto perché? Domande che non hanno una risposta secca. Alle quali, anzi, è difficile rispondere. A darla non è certo il nuovo rapporto sulla trasparenza di Facebook uscito la settimana scorsa, in cui l’azienda fa come ogni trimestre il punto su quanti materiali non conformi alle sue policy ha rimosso. I numeri, spesso roboanti, da soli non bastano a spiegare la complessità e l’impatto di processi su cui abbiamo una sola certezza: che non ne sappiamo praticamente nulla. La moderazione dei contenuti online è un’attività sotto gli occhi di chiunque, eppure una delle meno conosciute del web.
“Mai visto niente del genere. Stanno attivamente sopprimendo la narrativa dei palestinesi o di coloro che stanno raccontando questi crimini di guerra”, ha detto l’attivista per i diritti umani Marwa Fatafta ad Al-jazeera. Che se ne condividano i toni o meno, qualcosa sta succedendo. Da Instagram, per esempio, si sono scusati per aver rimosso “erroneamente” centinaia di post filo-palestinesi. Gli esempi specifici potrebbero essere molti ma, di nuovo, da soli non bastano a chiarire la situazione. “Anche di fronte a casi apparentemente così eclatanti non bisogna correre a conclusioni affrettate”. Jacopo Franchi ha scritto Gli obsoleti (Agenzia X), il primo libro in italiano sui moderatori di contenuti online. «Non sappiamo quanti post sono stati o saranno ripristinati, né conosciamo ancora con esattezza i motivi per cui sono stati censurati dai moderatori». In alcuni casi potrebbero essere state decisioni corrette. Del resto, senza nulla togliere alla gravità della situazione in Palestina, anche la denuncia della censura è uno strumento di sensibilizzazione o di propaganda, e per affrontare il tema della moderazione dei contenuti dobbiamo andare oltre. Più interessante è che, proprio durante la presentazione del suo Community Standards Enforcement Report, Facebook abbia dichiarato di aver messo in piedi una task force dedicata alla crisi israelo-palestinese 24 ore su 24, 7 giorni su 7. Non solo: come ha svelato il portale di giornalismo investigativo The Intercept, la piattaforma si è recentemente data delle nuove regole interne relative al termine “sionismo” con l’obiettivo di arginarne l’utilizzo discriminatorio come sinonimo di “ebraismo”. L’obiettivo, come sempre, è tutelare la community, ma di fatto un’azienda si sta prendendo la responsabilità di definire criteri interpretativi nell’ambito di un dibattito secolare. Il vero tema, allora, non è quanti e quali contenuti sono stati cancellati, ma come scaturisce la decisione di farlo.
Ripercorriamo il processo che porta alla rimozione. Tutto comincia con un contenuto problematico che circola sulla piattaforma. Un utente o un software lo visualizzano e si accorgono che qualcosa non va. A questo punto inviano una segnalazione con lo scopo di avvisare la piattaforma stessa della problematicità di quel contenuto (per l’utente è facoltativo e gratuito). La segnalazione viene messa in coda e smistata da un algoritmo in base a una scala di priorità. Arrivato il suo turno, un moderatore la prende in carico e decide che cosa fare in base alle linee guida della piattaforma. “Questo è quello che sappiamo: niente di più, niente di meno”, ci dice Jacopo Franchi. “Le lamentele che ora stanno circolando in riferimento all’escalation israelo-palestinese sono l’ennesimo sintomo di debolezze storiche del sistema di moderazione”.
“La prima debolezza” – prosegue Franchi – “è l’impossibilità di sapere se la rimozione di un contenuto sia stata decisa da una persona o da un software, e c’è una bella differenza. La seconda sta nell’origine della decisione: un utente potrebbe segnalare un contenuto per denunciarlo in quanto effettivamente lesivo, ma anche per danneggiare chi ha pubblicato quel contenuto, a prescindere dal messaggio che porta con sé. La terza debolezza è l’assenza di garanzie: se mandi una segnalazione o, perché no, fai ricorso dopo la rimozione di un tuo post, non sai mai davvero se succederà qualcosa”. La moderazione insomma, per quanto capillare, si sviluppa a macchia di leopardo, ha esiti incerti ed è completamente spersonalizzata. Queste però solo soltanto le criticità più superficiali. La questione a monte è proprio che qualcuno decide. “In base a che cosa” – domanda Franchi – “una piattaforma stabilisce di cancellare contenuti che, soprattutto in uno scenario di guerra, potrebbero essere notiziabili o comunque rilevanti a prescindere?”. Vale per i software e vale ancora di più per i moderatori in carne e ossa, che possiamo considerare più intelligenti o comunque più edotti. “Non si sa quali competenze abbiano per stabilire cosa è giusto e cosa no rispetto a una situazione intricata come quella mediorientale. Sono forse storici? Teologi? Esperti di geopolitica e relazioni internazionali? Ci piacerebbe saperlo”.
Per quanto se ne sa, i moderatori sono il più delle volte gig worker non specializzati, che a causa dello stress psicologico finiscono per essere soggetti a un rapido turnover: in genere resistono pochi mesi e poi cambiano lavoro, come nuove testimonianze ascoltate dal parlamento irlandese hanno confermato di recente. Se così fosse, a maggior ragione sarebbe interessante sapere quali strumenti utilizzano per svolgere il loro lavoro. “Quale metodo seguono per verificare la veridicità di una fonte e decidere se una notizia è falsa o meno? E siamo sicuri che dispongano di tempo a sufficienza e siano abbastanza lucidi per farlo?”, si chiede Jacopo Franchi. “Come dimostrano gli stessi report di Facebook sono numerosi i contenuti rimossi per errore e ripubblicati in seguito a un appello degli utenti. In una situazione come quella attuale il conflitto di interessi è una possibilità da non escludere: che cosa impedisce a un moderatore di censurare alcuni contenuti di opinione opposta alla propria? Da questo punto di vista il sistema di supervisione è opaco quanto quello di moderazione”. Un moderatore filoisraeliano con una scarsa etica del lavoro, per ipotizzare un caso limite, potrebbe decidere di censurare alcuni contenuti solo perché schierati per la parte opposta e non essere controllato.
Dalle domande, ahinoi, non possono che nascere ulteriori domande, anch’esse senza risposta. La moderazione dei contenuti ha le stesse caratteristiche di quella che in fisica è conosciuta come materia oscura: è intorno a noi, condiziona la nostra esistenza, ma non la vediamo e facciamo addirittura fatica a concepirne le caratteristiche. Il motivo, come si legge ne Gli obsoleti, è che per anni “le grandi aziende tecnologiche hanno negato la stessa esistenza dei moderatori. Solo le inchieste pionieristiche di alcuni giornalisti e ricercatori hanno permesso di scoprire l’altro lato di questa presunta automazione digitale di massa: migliaia di lavoratori assunti con contratti temporanei e in alcuni casi pagati a cottimo, troppo numerosi e troppo importanti per poter essere svelati fin da subito agli utenti e ai mercati”. I cosiddetti report sulla trasparenza partono dal presupposto che i moderatori esistono, ma contribuiscono solo in parte a chiarire come stanno le cose, tanto che i risultati forniti ogni trimestre non fanno nemmeno più notizia come un tempo. Ogni trimestre sappiamo che i contenuti cancellati sono milioni, ma niente di più. Stavolta, solo su Facebook, quasi 9 milioni rimossi per harrassment e oltre 25 milioni per hate speech. Non si sa però se sono stati segnalati da umani o da un’intelligenza artificiale. ”Il presupposto di quei report è che dobbiamo fidarci ciecamente di loro”, aggiunge Franchi. “Nessuno può verificare i numeri che espongono, ma soprattutto non c’è un solo esempio concreto. Al pubblico non è dato sapere che cosa effettivamente le varie piattaforme – vale per Facebook come per qualunque altra – intendano per misinformazione, contenuto d’odio, contenuto pornografico. È come se si facessero un’autocertificazione”. Proprio durante la conferenza stampa di presentazione del suo ultimo report, Facebook ha dichiarato che coinvolgerà la società di consulenza Ernst & Young per un audit indipendente sull’accuratezza delle metriche pubblicate. Per quanto sia un una notizia, non è ancora sufficiente: si guarda ai criteri di misurazione ma non all’oggetto delle misure, ovvero al funzionamento della moderazione. “Al di là dei numeri, nei report che circolano e nella narrazione generale sulla moderazione di contenuti, mancano del tutto le persone. Gli utenti che segnalano i contenuti, quelli che li hanno pubblicati e ovviamente i moderatori non hanno un volto”, aggiunge Franchi. “È come se i contenuti rimossi fossero considerati dei virus che continuano ad essere uccisi e a riprodursi, senza fare distinzioni e senza approfondire realmente come avviene questo processo”.
Il dibattito sulla rimozione massiva dei post filo-palestinesi e, paradossalmente, l’uscita del nuovo Community Standards Enforcement Report di Facebook non fanno anche confermare quanta poca trasparenza ci sia in questa storia. Ce lo siamo detti fin dal principio: molte domande, poche risposte. Il punto è che sarebbe ora di cercarle, che le istituzioni impongano una trasparenza vera riguardo alla moderazione di contenuti, che si stabilisca chi è effettivamente nelle condizioni di decidere della vita di un contenuto che può avere un’impatto sulla collettività. Potrebbe far gioco anche alle piattaforme come Facebook, che a fronte di una cessione di potere decisionale non si troverebbero nelle condizioni di essere continuamente attaccate per ciò che deve e non deve essere visibile al loro interno. Non è detto però che faccia gioco alla politica.
“Forse, oltre alla scarsa consapevolezza e all’attendismo” – conclude Franchi – “c’è un problema di lasseiz-faire, che probabilmente ha anche a che fare con l’enorme quantità e complessità dei contenuti da gestire”. È comodo lasciare che siano aziende private (che sono certamente più efficienti da un punto di vista tecnologico e operativo) a buttare lo sporco sotto il tappeto e, nei fatti, delegare tutto a loro, salvo poi attaccarle per il mancato rispetto di regole ancora inesistenti, che pochi si sono preoccupati di dare. La strada è lunga e, se non ci muoviamo, rischia di essere sempre più in salita.

[…] Gli obsoleti. O invisibili
E qui veniamo alla “revisione umana”. E alla categoria di moderatore. Il gig worker della società dell’informazione globale, come lo definisce Jacopo Franchi nel recente libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti, Agenzia X edizioni.
Un lavoro innanzitutto invisibile a partire dalla sua nomenclatura.
“Per Google siete dei contractors, per Facebook dei Community Operations Team Members o Social Media Analyst, per le aziende che fanno moderazione in outsourcing siete dei Legal Removals Associate o Process Executive”, scrive l’autore. Nomi altisonanti per una realtà molto più dura e prosaica, e costantemente rimossa dal dibattito pubblico, esattamente come i post che loro stessi devono vagliare e/o cancellare.
Quelle stesse aziende tech che celebrano i propri software (anche nella loro capacità di rimpiazzare il lavoro umano) si trovano infatti ad affidarsi sempre di più a degli invisibili lavoratori di serie B per far fronte ai crescenti problemi nati dal loro stesso successo (e dai meccanismi virali legati al loro business pubblicitario).
Il risultato è una catena di montaggio in cui l’obiettivo è smontare l’orrore prima che arrivi sotto gli occhi di milioni di persone che stanno spensieratamente strisciando il pollice sul loro telefonino - e tutto quello che di legittimo finirà dentro il tritacarne è inevitabile danno collaterale.
“I ritmi e l’oggetto del vostro lavoro quotidiano sono decisi dall’algoritmo ancora prima che dai vostri supervisori: un macchina che non si ferma mai, che non è possibile rallentare…”, scrive Franchi. “Essa vi richiede per ogni post segnalato dagli utenti tempi equivalenti di valutazione, così come per la macchina la stessa unità di tempo è stata sufficiente a decidere se rendere virale o meno quel post prima della sua segnalazione”.
Ma i moderatori non possono parlare del loro lavoro. Devono firmare un serie di NDA e altre clausole del contratto che li rendono appunto invisibili.
“Potete usare solo formule generiche per descrivere il vostro lavoro, mutuate dallo stesso linguaggio ambiguo che le piattaforme hanno dovuto elaborare per giustificare la vostra presenza all’esterno: potete dire di essere dei contractors, dei membri del team di sicurezza e qualità, ma non potete mai qualificarvi esplicitamente come moderatori”. Non devono essere raggiunti da giornalisti o altre figure “scomode” per l’azienda.
Ma non solo. “Siete invisibili dentro e fuori l’azienda. […] nessun utente può comunicare con voi, ma solo inviare una segnalazione attraverso moduli predefiniti, ed è un modulo predefinito quello che riceverà in risposta alla sua richiesta, e a cui potrà o meno far ricorso attraverso un ulteriore modulo standard di reclamo. Nessuno, al di fuori di voi, può avere la certezza che a rispondere alle segnalazioni degli utenti sia una persona in carne e ossa: la vostra invisibilità è congenita al design delle piattaforme.” […]

Una sintesi della proposta contenuta nel mio saggio Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti (Agenzia X Edizioni, 2021): anziché smembrare Facebook da Instagram, o Google da YouTube, è ora il momento di separare una volta per tutte il potere di dare visibilità da quello di toglierla.

In principio fu il Network Enforcement Act: la legge, meglio conosciuta come “NetzDG”, è stata introdotta in Germania nel 2017 al fine di contrastare la diffusione di contenuti d’odio e razzismo sui social media. Pensata appositamente per le piattaforme digitali più importanti, come Facebook, Twitter, YouTube, TikTok,, essa obbliga queste ultime a rimuovere qualsiasi contenuto razzista o di ’”hate speech” da un minimo di ventiquattr’ore a un massimo di sette giorni dalle richieste inoltrate dagli utenti delle piattaforme stesse.
La NetzDG, quindi, è una legge che costringe i social media a fornire tempi certi di risposta su contenuti particolarmente a rischio quando questi sono segnalati da utenti che vivono in Germania, mentre la stessa cosa non avviene in altri Paesi come l’Italia, dove può capitare di non ricevere alcuna risposta alle segnalazioni anche più gravi (come dimostrato anche da Dario Petrelli in un articolo pubblicato su “Che Fare”). Eppure, come ho ricostruito nel mio libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti, NetzDg e altri provvedimenti simili non fanno altro che aggravare il problema della moderazione di contenuti online.

I social hanno celebrato anzitempo la propria capacità di rimozione dei contenuti indesiderati, e ora i governi di tutto il mondo chiedono loro uno sforzo ancora maggiore
La NetzDG, contestatissima fin dai suoi esordi, è stata ed è tuttora oggetto di innumerevoli tentativi di imitazione: in Italia, con la proposta di legge per combattere l’odio online presentata dall’ex presidente della Camera Laura Boldrini; in Francia, con la “Loi contre les contenus haineux sur Internet” in gran parte censurata dal Conseil Constitutionel; e perfino in Paesi come la Turchia, il Venezuela, il Vietnam, la Russia, la Bielorussia, il Kenya, Singapore, Malesia, Filippine, Mali, Cambogia e Pakistan, come si legge in un report pubblicato dal think tank danese “Justititia” e intitolato – a scanso di equivoci – “The Digital Berlin Wall”.
Il report, come sottolineato tra gli altri anche da Foreign Policy, dimostra come la legge tedesca sia stata utilizzata come modello di riferimento per giustificare e rafforzare la censura online in numerosi Paesi autoritari: una conseguenza diretta delle pressioni crescenti cui sono state fatte oggetto le piattaforme negli ultimi anni per aumentare la propria capacità di rimuovere i contenuti potenzialmente rischiosi, in tempi più brevi, e senza alcun obbligo di trasparenza o documentazione del processo di moderazione. Una pressione esercitata, in primis, da Paesi democratici e oggi presa come modello da Paesi autoritari.
Se oggi Facebook si dichiara in grado di rimuovere 1,3 miliardi di account fake in un trimestre, se TikTok afferma di essere riuscita a rimuovere 90 milioni di video in un semestre, e se perfino Twitter garantisce di poter rimuovere migliaia e migliaia di tweet di “disinformazione”, nulla impedisce ai governi democratici e autoritari di tutto il mondo di imporre requisiti ancora più stringenti, sforzi più intensi e tempistiche più ridotte rispetto a quelle che le piattaforme stesse sono riuscite a raggiungere grazie allo sviluppo di tecnologie volte a potenziare le capacità di intervento e censura dei moderatori di contenuti.
È giunto il momento di smembrare, una volta per tutte, il potere di dare la massima visibilità possibile a un contenuto o a una persona dal potere di togliere arbitrariamente quella stessa visibilità.
In questo senso, la NetzDG può essere letta come una ennesima ritirata del potere politico di fronte a quello delle aziende digitali, cui è stata concessa per legge l’opportunità di incrementare il loro già illimitato potere di sorveglianza e censura nei confronti degli utenti. Come ricordato anche da David Kaye nel suo libro Speech Police. The Global Struggle to Govern the Internet, normative come la NetzDG non sono altro che una delega in bianco alle piattaforme per esercitare allo stesso tempo il ruolo di “pubblici ministeri” e “giudici” dei contenuti online, sostituendosi del tutto o in parte alla magistratura e ai tribunali.
Accordando alle piattaforme digitali un potere illimitato di intervento nei confronti dei propri utenti, anche se per una causa giusta come il contrasto ai contenuti d’odio e razzisti, e incentivando la rimozione pura e semplice dei contenuti segnalati senza offrire alcun margine ad indagini più approfondite, né il salvataggio dei contenuti di interesse pubblico in luogo della loro completa rimozione, leggi come la NetzDG rappresentano oggi un ulteriore passo avanti verso la concentrazione di un potere monopolistico di selezione, sorveglianza e censura nelle mani di pochissime aziende private di dimensioni globali.
Se da un lato aziende come Facebook, Twitter, Google, YouTube e TikTok dispongono del potere di rendere virale o meno un contenuto in base al modo in cui vengono progettati i loro algoritmi di selezione editoriale, appare oggi alquanto eccessivo il potere che viene liberamente concesso loro di sorvegliare i propri utenti e rimuovere questi ultimi e i loro contenuti. Anziché smembrare Facebook da Instagram, o Google da YouTube, forse è venuto il momento di smembrare il potere di dare visibilità dal potere di rimuovere quest’ultima, affinché i moderatori possano lavorare per proteggere gli utenti e non, come succede nel modello attuale, per tutelare la reputazione delle aziende che ne fanno uso.

Dalla moderazione di contenuti centralizzata alla moderazione decentralizzata
La proposta, inclusa nel mio libro “Gli obsoleti”, vuole essere un primo spunto di riflessione per provare a uscire dal ristretto numero di opzioni a disposizione oggi: anziché aumentare ulteriormente il potere di censura delle aziende digitali, o all’opposto esentare queste ultime da qualsiasi responsabilità in merito alla diffusione di contenuti d’odio, razzisti e di altre tipologie lesive della dignità e della sicurezza umana, bisognerebbe oggi progettare nuove strategie affinché le persone possano da un lato “difendersi da sole”, grazie all’aiuto di altri operatori specializzati riconosciuti e integrati dalle piattaforme stesse, dall’altro decidere democraticamente tempi, modalità e responsabilità della moderazione di contenuti, che non possono più essere soggetti all’arbitrio di chi quei contenuti li veicola attivamente.
Contrariamente all’opinione oggi diffusa, non esistono ad oggi piattaforme digitali che possano fare a meno dei moderatori di contenuti umani, e non esistono moderatori di contenuti umani che possano fare a meno della tecnologia per poter tenere il passo con quantità e qualità dei contenuti potenzialmente a rischio: a partire da questa constatazione, è possibile progettare entità, strumenti e processi capaci di sostituirsi del tutto o in parte alle agenzie di moderazione di contenuti private cui le piattaforme digitali subappaltano la maggior parte dei poteri di intervento e repressione. Forse non risolveremo interamente il problema secolare dell’odio e del razzismo, ma perlomeno non creeremo i presupposti affinché i social media di domani abbiano ancora più potere e ancora più capacità di repressione di quella attuale.

La routine impossibile di chi controlla i contenuti web: costretti a lavorare a ogni ora del giorno, sostituiti da colleghi a migliaia di km di distanza. Recensiamo Gli obsoleti di Jacopo Franchi.

Ci sono lavori e lavori. Ad esempio quelli che si vedono e si percepiscono e altri che, al contrario, non si vedono e non si percepiscono, ma pur nella loro invisibilità entrano ogni giorno nelle vite e nelle azioni delle persone, condizionandole nei pensieri, nelle scelte e nelle azioni. Sono svolti da lavoratori che potrebbero essere percepiti come fantasmi, e quasi certamente lo sono, eppure rappresentano una forza lavoro compresa tra le 100 e le 150.000 unità operative in tutto il mondo. Il dato è destinato a crescere.
Loro sono i moderatori di contenuti, di cui il più delle volte non si parla, tanto che le stesse aziende tecnologiche ne hanno per anni negato l’esistenza in nome di virtù prodigiose che solo le piattaforme sociali potevano avere. Non hanno nome, volto o identità riconoscibile, e molte volte sono obbligati a mantenere il segreto in virtù di accordi di riservatezza a dir poco particolari. Sono uomini e donne di ogni età, Paese o condizione sociale, che con il loro lavoro determinano ciò che è lecito o meno rispetto alla pubblicazione online dei contenuti, in riferimento a ciò che può essere vietato dai regolamenti delle diverse piattaforme. Sono loro che prendono in carico le sorti delle segnalazioni che ogni giorno vengono inviate rispetto a contenuti ritenuti poco corretti dagli utenti. Sono loro che determinano ciò che possiamo trovare o meno nel vasto mondo della rete.

Gli obsoleti, la storia delle sentinelle dei contenuti che non dormono mai
Chi ancora pensasse di avere una forma di controllo autonoma sui contenuti pubblicati online probabilmente dovrebbe leggere Gli obsoleti di Jacopo Franchi, che analizza le dinamiche di un lavoro impossibile fatto di sottomissione, forti pressioni psicologiche, altissimi livelli di competizione e controllo, turnazioni create per non lasciare mai le piattaforme senza manodopera prestata alla revisione dei contenuti.
Quello del moderatore, si apprende leggendo le pagine del libro, è un lavoro che lascia il segno, e forse anche per questo non sono in molti quelli che resistono a lungo. Una macchina creata per usare i lavoratori fino allo sfinimento, inducendo poi al continuo cambiamento della forza lavoro.
Sembra un sistema tanto antico quanto già sentito, che pare aver preso il peggio dal sistema del capitalismo industriale riadattato alla modernità, visto che “non essendoci limite all’orario in cui un utente può connettersi per condividere un contenuto o inviare una segnalazione, la rapidità di risposta a queste ultime deve essere garantita in qualsiasi Paese e in qualsiasi momento dell’anno”. E ancora: “La turnazione globale diventa così un modo per compensare con i moderatori della notte il sovraccarico di lavori di quelli del turno di giorno, senza che gli utenti siano resi consapevoli del fatto di essere stati controllati da qualcuno posto a dieci o diecimila chilometri di distanza dal luogo in cui hanno pubblicato i contenuti oggetto di segnalazione”.
Quella che Franchi prova a descrivere è una realtà del lavoro che determina una nuova e diversa forma di globalizzazione in cui ogni singola componente può essere distribuita e redistribuita in modo istantaneo, in cui non ci sono ferie retribuite, pause pranzo o benefit condivisi e in cui ogni giorno si vive l’alternanza di turni, colleghi, contenuti da revisionare. Un ciclo che si prosegue di continuo, tanto da perdere di vista l’alternanza del giorno e della notte.

Perché leggere Gli obsoleti di Jacopo Franchi
Gli obsoleti è un testo che permette di comprendere meglio e più a fondo il mondo del lavoro. In particolare un lavoro che non solo impatta ogni giorno sulla vita delle persone, ma di cui noi stessi siamo una componente fondamentale, determinando parte di questo complesso sistema con i nostri comportamenti e le nostre abitudini. In fondo, per le persone, postare un contenuto a tarda sera o in piena notte non è un problema, ma forse dopo aver letto questo libro lo si farà con una consapevolezza diversa, data dal fatto che l’agire del singolo può incidere su qualcosa di molto più grande e complesso.
Il sistema di cui i moderatori di contenuti sono parte merita di essere conosciuto e, per quanto possibile, compreso, perché ha a che fare con la vita e i diritti di lavoratori e lavoratrici risucchiati da un meccanismo che non è poi così affascinante come si potrebbe pensare. Quella descritta da Jacopo Franchi non è fantascienza; è realtà, ed è una realtà difficile e complessa da penetrare, tanto che i dati ufficiali sono sempre troppo pochi e difficili da recuperare.
Il testo è suddiviso in capitoli che già dalla titolazione cercano di rappresentare il meccanismo che lo domina. Il linguaggio è fruibile e ricco di note integrative molto interessanti, così come la bibliografia, che permette di approfondire l’argomento oltre l’ultima pagina. Un libro a metà tra il saggio e l’inchiesta, e che per questo permette di vedere la realtà da un punto di vista diverso. Franchi non rende questo sistema meno oppressivo: lo restituisce al lettore per come è descrivendo, per una volta, quello che molti non descrivono.

Il nuovo libro di Jacopo Franchi, edito da Agenzia X, ha raccolto dati e studi su questa categoria di lavoratori, indispensabile ma ancora sconosciuta

È il primo lavoro sui moderatori online di contenuti pubblicato in Italia. Un saggio che parte dalla raccolta di ricerche, articoli e testimonianze degli ultimi 10 anni per un totale di circa 250 fonti internazionali. Jacopo Franchi, web content e social media manager, ha presentato alla Milano Digital Week il suo ultimo lavoro, Gli obsoleti (edizioni Agenzia X con illustrazioni di Licia Zavattaro), insieme ad Andrea Daniele Signorelli e Alessandro Isidoro Re.

Il paradosso della professione
Gli «obsoleti» sono i moderatori di contenuti online, persone che passano le giornate a visionare materiale segnalato come inappropriato (da video pornografici ad esecuzioni di terroristi) per poi, eventualmente, rimuoverlo. «Sono persone che si trovano lì per caso, senza competenze tecniche, ma paradossalmente, oggi, le maggiori aziende del settore dipendono da loro - spiega Franchi - Li ho definiti e loro stessi usano questo termine “obsoleti” perché ad un certo punto non riescono più a dimenticare quello che hanno visto, un tratto che ancora distingue gli umani dalle macchine, che in un click perdono la memoria del “passato”. Sono «obsoleti» anche perché sono tra i primi lavoratori a essere costretti a un aggiornamento professionale continuo data la velocità con cui cambiano le policy delle aziende, ma finiscono poi per essere sostituiti molto in fretta perché decidono di lasciare il posto».

Un esercito invisibile
Queste figure professionali di cui nessuno sa nulla, anche perché coperte da contratti con clausole di riservatezza molto stringenti, sono un vero esercito. «Gli ultimi numeri disponibili parlano 150mila persone sparse in tutto il mondo per coprire tutte le 24 ore di una giornata. Cifre da arrotondare sicuramente per difetto - continua Franchi - Su aziende come TikTok o Twitch, invece, ancora non ci sono report». Tra i moderatori ci sono sia i dipendenti che rimuovono o catalogano contenuti, oppure chi, da volontario, gestisce gruppi, comunità o pagine web. «Siamo tutti moderatori di contenuti volontari - spiega l’autore - perché la tecnologia, con gli algoritmi, fa un lavoro ottimale ma non può arrivare ovunque, non è così pervasiva o al passo con le novità come può essere un essere umano. Per esempio non riconosce la differenza tra una frase satirica e una offensiva».

Circa mille contenuti visualizzati ogni giorno
Un’altra definizione che viene data dei moderatori di contenuti è «supereroi invisibili del web». «Questo perché controllano la nostra sicurezza online , sentono il peso sociale del ruolo che coprono. Soprattutto, dopo anni in cui si è parlato della tecnologia come sostituta dell’uomo nel prossimo futuro, ora si è capito che oltre alla tecnologia servirà sempre qualcuno che intervenga manualmente a “colpi di click”». Il lavoro di un moderatore è di estrema precisione, tanto che la soglia di errore permessa va dal 2 al 5 per cento. «Un moderatore revisiona circa mille contenuti al giorno, senza tenere conto degli espedienti (come assenza di suono o colori) per alzare ancora di più i numeri».

Il risarcimento record per stress post traumatico
Il 2020 è stato un anno importantissimo per i moderatori, perché per la prima volta è stata riconosciuta anche legalmente la loro importanza all’interno delle aziende. Facebook a maggio 2020 ha dovuto pagare un risarcimento di 52 milioni di dollari a un gruppo di moderatori che avevano richiesto i danni per stress post traumatico. A ottobre, invece, l’azienda ha richiamato i moderatori a lavorare in sede perché da remoto il loro contributo non era sufficiente rispetto a quello fornito dai bot. «Il prossimo passo spero sia il racconto in prima persona di uno di loro - si augura Franchi - Serve che facciano chiarezza sul loro ruolo, umanizzando una professione che è ancora coperta da molto mistero».

I moderatori di contenuti sui social costituiscono oggi una percentuale sempre più rilevante della forza lavoro, diretta e indiretta, delle nuove piattaforme digitali. Quanti sono, cosa fanno e quali sfide affrontano gli “operai del clic”. Se ne parla nel libro Gli obsoleti.

La prima volta che ho letto un articolo sui moderatori di contenuti dei social risale all’ormai lontano 2014: un’inchiesta di Adrian Chen, ancora oggi online, raccontava le lunghe giornate di lavoro di coloro che erano impegnati a “tenere pulito il feed di Facebook” da migliaia e migliaia di contenuti segnalati dagli utenti del social come potenzialmente a rischio di violazione delle regole di pubblicazione della piattaforma.
Un vero e proprio racconto dell’orrore quotidiano di persone costrette, per contratto, a rimanere di fronte a uno schermo per assistere allo scorrere indiscriminato e ad altissima velocità di ogni bestialità umana. Ma non fu questo aspetto del lavoro dei moderatori a monopolizzare la mia attenzione, né lo sarebbe stato nelle letture degli anni a venire che mi avrebbero portato alla scrittura de Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti (Agenzia X, 2021), primo libro italiano su questi “nuovi” lavoratori del digitale.

L’insostituibilità dei moderatori, gli “invisibili” della rete
Il filo rosso che legava l’inchiesta di Adrian Chen sui moderatori di contenuti nelle Filippine con le successive inchieste di The Verge sui moderatori di contenuti negli Stati Uniti, le testimonianze dei moderatori dei social a Berlino pubblicate sulla Süddeutsche Zeitung con le testimonianze raccolte in libri come Behind the Screen o Custodians of the Internet non era infatti solo il racconto dell’orrore in sé, quanto la constatazione che i moderatori di contenuti fossero a tutti gli effetti dei lavoratori “invisibili” della Rete. Ancora oggi è estremamente difficile stimare con esattezza il numero di moderatori attivi in Italia, per non dire del resto del mondo: dai 100.000 moderatori globali stimati da Wired nel 2014 ai 150.000 stimati dagli autori del documentario “The Moderators” nel 2017, l’unico elemento certo è che le più grandi aziende tecnologiche al mondo non possono fare a meno dei moderatori di contenuti, seppur sottopagati e sottodimensionati, per poter continuare a erogare i propri servizi digitali.
Ne abbiamo avuto una conferma esplicita nel corso dell’ultimo anno: a marzo 2020 Facebook ha dovuto improvvisamente richiamare al lavoro – seppur in smart working – migliaia e migliaia di moderatori di contenuti nel momento in cui l’intelligenza artificiale che avrebbe dovuto sostituirli aveva per errore cominciato a rimuovere migliaia di contenuti relativi al Coronavirus che non violavano alcuna policy di pubblicazione della piattaforma, solo poche ore dopo che la stessa azienda aveva dichiarato pubblicamente che si sarebbe servita di sistemi automatici di revisione dopo aver mandato a casa i moderatori per ragioni di sicurezza sanitaria. A novembre 2020, una lettera firmata da oltre 200 moderatori e indirizzata a Mark Zuckerberg ha confermato questo stato di fatto: “i vostri algoritmi non possono distinguere tra giornalismo e disinformazione, non sanno riconoscere la satira – si legge nel documento – solo noi possiamo”.

I moderatori in “pillole”
• Le piattaforme digitali non possono fare a meno del lavoro umano e non specializzato per revisionare i contenuti potenzialmente a rischio e resi virali dai propri algoritmi.
• I moderatori di contenuti sono oltre 100 mila in tutto il mondo e sono sottoposti a forti pressioni psicologiche per revisionare il maggior numero possibile di contenuti a rischio.
• In media un moderatore di contenuti deve prendere una decisione ogni 30 secondi, servendosi di espedienti volti ad accelerare il suo lavoro e potenziare la sua resistenza.
• L’invisibilità dei moderatori di contenuti è una scelta strategica volta a minimizzare l’importanza del lavoro umano nel contesto delle nuove tecnologie di informazione di massa.
• I moderatori di contenuti sono un esempio, forse il più estremo, dei nuovi lavori nati per servire gli algoritmi e vanno incontro a un processo di “obsolescenza” che non dipende tanto dalla loro incapacità di aggiornarsi, quanto da quella di dimenticare a comando come le macchine.

Vita da moderatore, in media una decisione ogni 30 secondi
Secondo le testimonianze e le inchieste oggi disponibili – oltre 250 sono quelle che ho potuto consultare in prima persona per la scrittura de “Gli obsoleti”, tra libri, articoli, videointerviste coperte da anonimato – in media un moderatore di contenuti per i social è chiamato a valutare tra i 500 e i 1.500 contenuti al giorno, uno ogni trenta secondi circa, passando quasi senza soluzione di continuità da messaggi d’odio a tentativi di suicidio, da video di attentati terroristici a video di pornografia e pedopornografia, dalla violenza sugli animali a quella sugli uomini, venendo chiamato in causa sempre più spesso anche per valutare contenuti relativi alla sfera privata di utenti che sono stati segnalati in forma anonima e talvolta senza neppur aver violato alcuna regola specifica. Quello che vediamo nei nostri flussi di notizie di Facebook, YouTube, Twitter o TikTok è solo una parte di quello che potremmo vedere se migliaia di contenuti non fossero stati rimossi dal nostro ultimo accesso ai social, se migliaia di moderatori non lavorassero 24/7 “al di là” dello schermo. Quella su cui lavorano i moderatori è una vera e propria “catena di smontaggio” dei contenuti online, che ricorda i ritmi di lavoro incessanti della catena di montaggio di una fabbrica tradizionale: anziché generare nuova informazione, nuovi contenuti, i moderatori si servono di appositi strumenti per “smembrare” i contenuti esistenti al fine di valutarli con la massima velocità possibile prima di procedere alla loro eliminazione. I video sono scomposti in miniature per farsi in pochi secondi un’idea sommaria del loro significato, i contenuti audio sono trascritti automaticamente per una rapida lettura, le immagini vengono analizzate in bianco e nero e i volti delle persone nelle foto sono sfuocati per aumentare la capacità di resistenza del moderatore di fronte ai contenuti più traumatici. In questo contesto, non sorprende che ogni giorno vengano commessi qualcosa come 300 mila “errori” di moderazione solo su Facebook, né che i moderatori più esperti sviluppino forme di disturbo post-traumatico da stress dopo essere stati portati ben oltre il limite umano di tolleranza nei confronti di video e immagini disturbanti.

Successo degli algoritmi e presenza dei moderatori
È un errore, tuttavia, pensare che sia sufficiente aumentare lo stipendio o i servizi di supporto psicologico ai moderatori di contenuti per risolvere una volta per tutte i problemi posti dall’incapacità degli algoritmi dei social di moderare sé stessi, di non rendere virali quei contenuti che violano sia le regole di pubblicazione delle piattaforme sia le regole delle comunità in cui esse operano. L’obiettivo dei moderatori, infatti, non è solo quello di “proteggere” gli utenti dalla visione dei contenuti peggiori, quanto proteggere la reputazione delle piattaforme digitali agli occhi di investitori e inserzionisti: l’invisibilità dei moderatori è funzionale a ridurre al minimo la percezione che ciò che viene pubblicato su Facebook e YouTube, su TikTok e Twitter sia in realtà molto diverso rispetto a quello che è possibile vedere, molto meno accettabile rispetto a quello che la maggior parte degli utenti sono disposti ad accettare nel proprio “feed” di notizie.
In questo contesto, la crescita del numero di moderatori di contenuti è in aperta contraddizione con una narrativa della tecnologia che per anni ha esaltato la capacità degli algoritmi di sostituirsi alla maggior parte dei lavori e dei lavoratori “umani” nella selezione dell’informazione di massa. Quegli stessi algoritmi che per alcuni anni sono stati ritenuti in grado di sostituirsi del tutto al lavoro di selezione editoriale di giornalisti, divulgatori ed esperti, non possono oggi fare a meno di un numero crescente di moderatori per poter continuare a prosperare nell’illusione diffusa di una presunta automazione editoriale di massa. Senza gli algoritmi probabilmente non ci sarebbero così tanti moderatori, ma è altrettanto probabile che senza i moderatori gli algoritmi non avrebbero acquisito un ruolo così importante nell’economia digitale contemporanea, in quanto incapaci di comprendere appieno i contenuti che essi stessi veicolano.

Necessità di apprendere e obbligo di dimenticare: la sfida più grande di chi lavora nel digitale
Appare quindi paradossale il fatto che le più grandi aziende digitali al mondo debbano oggi dipendere da un esercito invisibile di “operai del clic”, per lo più privi di competenze digitali avanzate: se i lavoratori “obsoleti” sono quelli privi della capacità di aggiornarsi alle nuove competenze richieste dal mercato del lavoro, i moderatori sono da considerarsi “obsoleti” nella misura in cui essi svolgono un lavoro teoricamente alla portata di chiunque e da cui vengono quotidianamente estratti nuovi dati per l’addestramento delle intelligenze artificiali che dovrebbero un giorno lontano prenderne il posto. Un passaggio di consegne, tuttavia, che potrebbe non avvenire mai: gli “obsoleti” resteranno, per ammissione delle stesse aziende, la principale forza lavoro delle piattaforme più avanzate e innovative al mondo.
In realtà i moderatori sono, tra tutti i lavoratori specializzati e non del settore digitale, i meno “obsoleti” di tutti come ho dimostrato anche nel mio libro: essi sono chiamati a un lavoro di aggiornamento costante per apprendere le nuove regole di moderazione delle piattaforme, che cambiano di continuo e spesso senza alcuna coerenza interna. Un lavoro di aggiornamento costante che richiede, contemporaneamente, anche l’oblio delle regole memorizzate solo pochi giorni o poche settimane prima: ed è questa continua tensione tra necessità di apprendere e obbligo di dimenticare, per tenere il passo con le macchine digitali prive di passato e di futuro, che si ritrova oggi in quasi tutti i lavori che hanno a che fare con il digitale.
In questo senso i moderatori sono un esempio, forse il più estremo, degli “invisibili” lavoratori della nuova economia digitale, siano essi revisori di contenuti dei social o autori degli algoritmi che li mettono in moto: costretti ad aggiornarsi e dimenticare a comando, finché il mondo rincorrerà l’illusione della completa automazione.

Tutti coloro che usano i social, da Facebook a Twitter, da TikTok a YouTube, sanno di poter “segnalare” alla piattaforma utenti o contenuti. Ma chi decide poi quali video o post vanno eliminati? Chi riceve le segnalazioni su quanto viene pubblicato, valutando se sono offensivi, razzisti, pornografici, violenti e persino pericolosi se pensiamo a certe sfide con cui i ragazzini rischiano di farsi male (qualche settimana fa la morte di una bimba di nove anni è stata collegata a una di queste sfide ospitata su piattaforma TikTok). Dietro all’eliminazione dei post a rischio ci sono dei lavoratori invisibili: i “moderatori di contenuti”. Il primo libro interamente dedicato a loro, lo ha scritto il fiorenzuolano trapiantato a Milano: Jacopo Franchi, 33 anni. Il suo saggio, in libreria da un paio di settimane, si intitola Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti. «Rappresentano oggi una forza lavoro di almeno 100mila unità – spiega l’autore – e sono operativi in tutti i paesi del mondo. Il numero è destinato a crescere, complice la crisi occupazionale di molti mestieri subordinati. Non hanno nome, né volto, costretti al silenzio da accordi di riservatezza e volutamente nascosti dietro le interfacce digitali, indistinguibili da quell’intelligenza artificiale che vorrebbe prenderne il posto».

Perché li chiami obsoleti?
«Così vengono chiamati i lavoratori senza specializzazioni, pagati per svolgere un lavoro ripetitivo e privo di risvolto creativo. Obsoleti anche in quanto condannati dai più importanti studi di settore a essere inevitabilmente sostituiti dagli algoritmi e dalle nuove macchine digitali, programmate per svolgere attività ripetitive con maggiore velocità, precisione ed efficienza di qualsiasi risorsa umana».

Ad un certo punto, basterà l’intelligenza artificiale per selezionare i contenuti?
«Le macchine sono prive di capacità di intendere e di volere. Ci sarà sempre bisogno dell’uomo, per rimediare agli errori di selezioni compiuti da macchine automatiche. Anche per i cosiddetti “obsoleti” ci sarà sempre un lavoro. Io penso he la vera difficoltà sarà non tanto la nostra incapacità di aggiornarci come le macchine, quanto di dimenticare a comando come loro. I moderatori di contenuti sono obsoleti perché, oltre un certo limite, non sono più in grado di dimenticare ciò che hanno visto».

Lei cita studi e testimonianze che mostrano come i moderatori, anche i migliori, non durano più di qualche mese.
«Molti non resistono. Sono costretti a esaminare contenuti pedopornografici, centinaia di video di mutilazioni, decapitazioni, fucilazioni, tentati suicidi, istigazioni al suicidio. Per ridurre l’impatto emotivo, la macchina è in grado di smontare i video, riducendoli a tanti fotogrammi statici. La rappresentazione della violenza si fa più inoffensiva. C’è la possibilità per il moderatore anche di disabilitare in automatico il sonoro dei video, e di attivarlo solo in caso di sospetto. Qui il rischio diventerebbe contrario: l’assuefazione. I contenuto che vanno controllati nel corso del turno di lavoro supereranno per numero e orrore tutto quello che una persona possa ver visto fino a quel momento.»

I moderatori di contenuti sono il nuovo proletariato? Lei parla di catena di s-montaggio digitale, di un lavoratore diviso al proprio interno («alienato») e isolato dai «colleghi».
«I moderatori sono oggi descrivibili come i “nuovi” opera del clic. Anziché lavorare su una catena di montaggio di prodotti, lavorano su una catena di smontaggio di contenuti digitali: i video vengono scomposti in tante miniature, le immagini sono sfuocate e in bianco e nero, gli audio vengono accelerati, per poter valutare il maggior numero possibile di contenuti nel brevissimo arco di tempo richiesto da utenti e algoritmi, che potrebbero rendere virali i contenuto più “a rischi”. In tutto questo i moderatori sono irraggiungibili dagli utenti, separati in ambienti chiusi e isolati all’interno delle stesse aziende per cui lavorano».

“Un fatto non raccontato non esiste” scrivevano coloro che analizzavano i mass media tradizionali. Ora si può dire che un fatto non postato non esiste? Può sparire una tragedia umanitaria?
«Se non può sparire del tutto, nondimeno il suo impatto sull’opinione pubblica può essere di gran lunga minore per l’intervento dei moderatori: la guerra civile in Siria è diventata un fatto di rilevanza mondiale anche in virtù della decisione delle piattaforme social di lasciare on line i contenuti più violenti e notiziabili, mentre innumerevoli guerre e tragedie umanitarie in tutto il mondo non ottengono la stessa visibilità per la scelta delle piattaforme di limitare le testimonianze dai flussi di notizie. Sono le piattaforme oggi a plasmare la realtà che vediamo, attraverso il lavoro automatico degli algoritmi e l’intervento manuale dei moderatori».

La piattaforma ha il diritto (non il dovere o la responsabilità) di rimuovere i contenuto non in linea con la sua policy, ovvero le loro stesse regole di pubblicazione. Lei lo ricorda in più punti.
«È un approccio che spiega alla luce una normativa statunitense meglio nota “Section 230”, che tutela le grandi piattaforme dalla responsabilità dei contenuto pubblicati al loro interno, anche quando questi ultimi potrebbero danneggiare o urtare la sensibilità dei loro stessi utenti».

Il quarto potere oggi sono diventate le piattaforme, che noi pensiamo “imparziali”?
«Le piattaforme non sono imparziali: non lo sono i loro algoritmi, che cambiano continuamente dando visibilità ora a questo ora a quella tipologia di contenuto, e non lo sono le decisioni che quotidianamente vengono prese dai moderatori che lavorano per le piattaforme, i quali applicano regole costantemente modificate e aggiornate, spesso in contraddizione con quelle precedenti. Le regole cambiano ogni giorno, in base all’evolversi dei costumi, alle pressioni dei governi e inserzionisti e anche in base a ragioni di carattere reputazionale delle piattaforme».

Quali sono i contenuto più rimossi dalle piattaforme?
«Esistono innumerevoli report prodotti da Facebook, Twitter, LinkedIn, YouTube, TikTok che celebrano la capacità di queste ultime di rimuovere un numero crescente di contenuti d’odio, razzisti, violenti e “fake”: io, tuttavia, preferisco coltivare un legittimo sospetto in merito alla reale consistenza di questi numeri, nel momento in cui essi non sono stati certificati da nessun ente terzo e imparziale. Siamo ancora lontani, oggi, dall’arrivare a uno standard di misurazione condiviso».

Qual è il meccanismo della rimozione di contenuti? Parte sempre dalla segnalazione di un utente?
«Noi utenti abbiamo un ruolo determinante nell’alimentare il servizio di sorveglianza e moderazione globale: è grazie alle nostre segnalazioni se i moderatori possono valutare post potenzialmente a rischio e che non sono riconosciuti come tali dall’intelligenza artificiale, ed è grazie al lavoro volontario di innumerevoli utenti, amministratori di pagine e gruppi social, se i moderatori “professionisti” possono essere dispensati da una mole crescente di lavoro».

Cosa hanno in comune questi “obsoleti con la gig economy, il modello economico del lavoro a chiamata? Sono consapevoli di essere trattati come “pezzi di ricambio”?
«Molti moderatori vengono reclutati su piattaforme di gig working, come TaskUso Mechanical Turk. Inoltre essi stessi sono simili ai lavoratori “gig” nella misura in cui dipendono da una serie di algoritmi nello svolgimento del lavoro e nel fatto di essere ritenuti, a torto o a ragione, intercambiabili tra loro. Io penso che la consapevolezza dei lavoratori stia screscendo e il modo in cui questi ultimi si organizzano per opporsi allo strapotere delle aziende digitali è la prova che non sono disposti a lasciarsi trattare come merce priva di diritti».

La sua conclusione è quella di una “moderazione universale”. Un’utopia o una possibilità?
«Il problema non è più se Facebook o Twitter facciano bene o male a scegliere di moderare o non moderare in determinato contenuto, ma se Facebook o Twitter o qualsiasi altra piattaforma digitale possano avere al tempo stesso il potere di dare visibilità ai contenuti tramite i loro algoritmi e di togliere questa visibilità tramite i loro moderatori: la mia riflessione giunge alla conclusione che si debba restituire per lo meno quest’ultimo potere alla persone».

Jacopo Franchi è nato a Fiorenzuola 33 anni fa. Lavora come social media manager a Milano, dove vive con la sua fidanzata Annalisa, a cui ha dedicato questo secondo libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti, pubblicato da Agenzia X Edizioni e disponibile sia in libreria sia sulle piattaforme online (anche in formato e-book). La stessa casa editrice aveva pubblicato nel 2019 il suo primo libro Solitudini connesse. Sprofondare nei social media. Diplomato al liceo scientifico “Mattei” di Fiorenzuola, poi laureatosi a Parma in Lettere Moderne con il massino dei voti, durante l’università grazie al programma Erasmus, Franchi studiò all’università Sorbonne Nouvelle. Di formazione umanistica è però da sempre appassionato di tecnologia. Dal 2017 pubblica articoli, interviste e approfondimenti sul blog “Umanesimo Digitale” (umanesimo-digitale.com). Gli obsoleti è il primo libro italiano che ha come protagonisti i moderatori di contenuti nella loro eterna “competizione” e collaborazione con le intelligenze artificiali: oltre 100.000 le persone che hanno il compito di rimuovere post, messaggi, foto e video segnalati come pericolosi dagli utenti. Attraverso l’analisi di oltre 250 tra articoli, inchieste, testimonianze e ricerche accademiche, il libro ricostruisce la complessa opera di sorveglianza globale.

Non basta un algoritmo per giudicare se i contenuti segnalati dagli utenti meritano davvero di essere eliminati. A farlo è un esercito di moderatori sparsi per il pianeta. Un lavoro essenziale, segreto e stressante. Pagato pochi euro al giorno

Senza il nostro lavoro, Facebook sarebbe inutilizzabile. Il suo impero collasserebbe. I vostri algoritmi non sono in grado di distinguere tra giornalismo e disinformazione, violenza e satira. Solo noi possiamo»: queste parole si leggono, in una lettera inviata l’anno scorso a Mark Zuckerberg e firmata da oltre duecento persone. Persone che lavorano per il colosso di Menlo Park. ma anche per le altre principali piattaforme digitali di massa: da Instagram a Twitter, da TikTok a YouTube. Sono i moderatori dei contenuti dei social media, i guardiani clandestini degli avanposti della rete contemporanea: una professione poco conosciuta, ma nevralgica. «Credo che l’aspetto più difficile sia la condizione di totale invisibilità in cui sono costretti a operare: per motivi di sicurezza, ma anche per minimizzare l’importanza del lavoro umano», spiega all’“Espresso” Jacopo Franchi, autore del libro Obsoleti. Il lavoro impossibile dei moderatori di contenuti (AgenziaX). «Oggi è impossibile stabilire con certezza se una decisione di moderazione dipenda dall’intervento di un uomo o di una macchina, i moderatori sono le vittime sacrificali di un mondo che rincorre l’illusione della completa automazione editoriale». Perché serve ancora come l’ossigeno qualcuno, in carne e ossa, che si prenda la briga di nascondere la spazzatura sotto il tappeto agli occhi dei miliardi di iscritti (e inserzionisti) connessi in quel preciso istante. Un attimo prima che infesti i nostri monitor e smartphone, o che faccia comunque troppi danni in giro. E anche certe sfumature di senso la tecnologia non riesce a coglierle e chissà se le capirà mai. I moderatori digitali sono uomini e donne senza competenze o specializzazioni specifiche, e di qualsiasi etnia ed estrazione: una manodopera assolutamente intercambiabile. Per essere assunti, basta essere subito disponibili e “loggabili”, avere una connessione stabile e pelo sullo stomaco. Il loro compito consiste, infatti, nel filtrare ed eventualmente cancellare l’oggetto dei milioni di quotidiane segnalazioni anonime che arrivano (a volte per fini opachi) dagli stessi utenti. Incentrate su post e stories, foto e video ributtanti. Immagini e clip pedopornografiche, messaggi d’odio e razzismo, account fake, bufale, revenge porn, cyberbullismo, torture, stupri, omicidi e suicidi, guerre locali e stragi in diretta. Fiumi di fango che sfuggono alla diga fallibile degli algoritmi, e che possono finire per rendere virale, inconsapevolmente, l’indicibile. Gli errori di selezione della macchina li risolvono gli uomini: dal di fuori tutto deve però sembrare una proiezione uniforme e indistinta dell’intelligenza artificiale. Un lavoro essenziale e misconosciuto per un trattamento barbaro. «Ero pagato dieci centesimi a contenuto. Per questa cifra ho dovuto catalogare il video di un ragazzo a cui era stato dato fuoco, pubblicato dall’Isis», scrive Tarleton Gillespie nel suo Custodians of the Inter-net. I “custodians” lavorano a ritmi forsennati, cestinando fino a 1500 contenuti pro-capite a turno. Uno alla volta, seguendo le linee guida fornite dalle aziende, i mutevoli “HYPERLIMK "https://m.facebook.com/communitv-standards/" Community Standards” (soprannominati, tra gli addetti ai lavori, la Bibbia). Se non conoscono la lingua interessata si affidano a un traduttore online. L’importante è correre: una manciata di secondi per stabilire cosa deve essere tolto di mezzo dai nostri newsfeed e timeline. Non c’è spazio per riflettere: un clic, elimina e avanti col prossimo.
Un’ex moderatrice, Valeria Zaicev, tra le maggiori attiviste della battaglia per i diritti di questa categoria che è ancora alle primissime fasi, ha raccontato che Facebook conta persino i loro minuti di pausa in bagno. Lavorano giorno e notte, i moderatori digitali. «Il nostro team di revisione è strutturato in modo tale da fornire una copertura 24/7 in tutto il pianeta», ha dichiarato a “The Atlantic” Monika Bickert, responsabile globale delle policy di Facebook. Nessuno sa niente del loro mandato, obbligati come sono al silenzio da marziali accordi di riservatezza. Pure la loro qualifica ufficiale è camaleontica: community manager, contractor, legal removais associate... «Quello del moderatore di contenuti è un esempio, forse il più estremo, delle nuove forme di lavoro precario generato ed eterodiretto dagli algoritmi», aggiunge Franchi. «Nessuno può dirci con precisione quanti siano: si parla di 100-150 mila moderatori, ma non è stato mai chiarito quanti di questi siano assunti a tempo pieno dalle aziende, quanti siano ingaggiati con contratti interinali da agenzie che lavorano in subappalto e quanti invece retribuiti a cottimo sulle piattaforme di “gig working”, per “taggare” i contenuti segnalati dagli utenti e indirizzarli così verso le code di revisione dei moderatori “professionisti”». Restando a Facebook, si oscilla così dai moderatori più tutelati e con un contratto stabile negli Usa (15 dollari circa all’ora di salario) ai 1600 occupati dall’appaltatore Genpact negli uffici della città indiana di Hyderabad, che avrebbero una paga di 6 dollari al giorno stando a quanto rivelato, tra gli altri, dalla Reuters. Un esercito neo-industriale di riserva che si collega alla bisogna grazie a compagnie di outsourcing come TaskUs, persone in smart-work permanente da qualche angolo imprecisato del globo, per un pugno di spiccioli a chiamata. Il loro capo più autoritario e immediato, in ogni caso, è sempre l’algoritmo. Un’entità matematico-metafisica che non dorme, non si arresta mai. Una forza bruta ma asettica, tirannica e prevedibile, fronteggiata dall’immensa fatica del corpo e della mente. «È un algoritmo a selezionarli su Linkedin o Indeed attraverso offerte di lavoro volutamente generiche», ci dice ancora lacopo Franchi, «è un algoritmo a organizzare i contenuti dei social che possono essere segnalati dagli utenti, è un algoritmo a pianificare le code di revisione ed è spesso un algoritmo a determinare il loro punteggio sulla base degli “errori” commessi e a decidere della loro eventuale disconnessione, cioè il licenziamento». Già: se sbagliano in più del 5 per cento dei casi, se esorbitano da quei “livelli di accuratezza” monitorati a campione, può scattare per loro il cartellino rosso, l’espulsione. Per chi riesce a rimanere al proprio posto, è essenziale rigenerarsi nel tempo libero. Staccare completamente, cercare di recuperare un po’ di serenità dopo avere introiettato tante nefandezze. «Ci sono migliala di moderatori nell’Unione Europea e tutti stanno lavorando in condizioni critiche per la loro salute mentale», ha asserito Cori Crider, direttore di Foxglove, un gruppo di pressione che li assiste nelle cause legali. Sta di fatto che nel 2020 Facebook ha pagato 50 milioni di dollari a migliala di moderatori che avevano sviluppato problemi psicologici a causa del loro lavoro.
È uno dei new jobs più logoranti. Pochi resistono più di qualche mese, prima di essere defenestrati per performance deludenti o andarsene con le proprie gambe per una sopravvenuta incapacità di osservare il male sotterraneo del mondo senza poter fare nulla oltre che occultarlo dalla superficie visibile dei social. Gli strascichi sono pesanti. Il contraccolpo a lungo andare è micidiale, insopportabile. L’accumulo di visioni cruente traccia un solco profondo. Quale altra persona si sarà mai immersa così a fondo negli abissi della natura umana?
«L’esposizione a contenuti complessi e potenzialmente traumatici, oltre che al sovraccarico informativo, è certamente un aspetto rilevante della loro esperienza professionale quotidiana, ma non bisogna dimenticare anche l’alta ripetitività delle mansioni», spiega all’“Espresso” Massimiliano Barattucci, psicologo del lavoro e docente di psicologia delle organizzazioni. «A differenza di un altro lavoro del futuro come quello dei rider, più che ai rischi e ai pericoli per l’incolumità fisica, i content moderator sono esposti a tutte le fonti di techno-stress delle professioni digitali. E questo ci consente di comprendere il loro elevato tasso di turnover e di burnout, e la loro generale insoddisfazione lavorativa». L’alienazione, l’assuefazione emotiva al raccapriccio sono dietro l’angolo. «Può nascere un progressivo cinismo, una forma di abitudine che consente di mantenere il distacco dagli eventi scioccanti attinenti al loro lavoro», conclude Barattucci. «D’altro canto possono esserci ripercussioni e disturbi come l’insonnia, gli incubi notturni, i pensieri o i ricordi intrusivi, le reazioni di ansia e diversi casi riconosciuti di disturbo post-traumatico da stress (PTSD)». Nella roccaforte Facebook di Phoenix, in Arizona, un giorno, ha raccontato un ex moderatrice di contenuti al sito a stelle e strisce di informazione The Verge, l’attenzione di tutti è stata catturata da un uomo che minacciava di lanciarsi dal tetto di un edificio vicino. Alla fine hanno scoperto che era un loro collega: si era allontanato durante una delle due sole pause giornaliere concesse. Voleva mettersi così offline dall’orrore.

«Vivono dentro le piattaforme, invisibili, silenziosi, eppure presenti in gran numero: si calcola siano circa 100 mila i moderatori di contenuti. Una realtà ancora poco studiata, analizzata in un libro che rivela come il loro sia «un lavoro impossibile»

Un tempo si parlava degli invendibili. Gli invendibili, spiegava il vecchio Marx, sono quei lavoratori che, espulsi dai processi produttivi, non hanno più un valore d’uso, né di scambio. I tempi sono cambiati, ma gli invendbili di ieri sono gli obsoleti di oggi. Il loro, spiega Jacopo Franchi, esperto di digital humanities, in un libro molto documentato apparso per i tipi di Agenzia X (Gli obsoleti, 2021), «è un lavoro impossibile». Sono i moderatori di contenuti. Vivono dentro le piattaforme, invisibili, silenziosi, eppure presenti in gran numero: si calcola siano circa 100 mila in Italia.

Chi sono gli obsoleti?
Sono un popolo invisibile. L’invisibilità è la caratteristica dei moderatori di contenuti. Eppure, per capire cosa è diventata oggi la rete, dobbiamo cercare di illuminare questa zona d’ombra. Stimarne il numero esatto è difficile, le stime più riduttive parlano 150mila persone che lavorano per le grandi piattaforme digitali per visionare contenuti segnalati dagli utenti e dall’Intelligenza Artificiale.

Stiamo parlando, quindi, di rimozione di post potenzialmente offensivi che vengono segnalati su un social network...
Esattamente e, nello spazio di poche frazioni di secondo, questi lavoratori devono decidere se un’immagine, un messaggio, un post, un tweet ha diritto o meno di esistenza su quelle piattaforme. Il tutto dopo che il post è stato pubblicato e qualcuno, uomo o macchina, ha avviato la segnalazione per violazione della policy.

Quindi sono manovalanza cognitiva al servizio degli algoritmi?
Si pensa esistano solo automatismi e Intelligenza Artificiale, invece... Per anni è stata raccontata la favola che gli algoritmi che erano in grado di distribuire contenuti erano anche in grado di riconoscerli. Non è così, perché il discernimento richiede ancora un lavoro umano. I moderatori di contenuti fanno sforzi incredibili per stare ai ritmi di segnalazione, il turnover è altissimo e, in questa posizione, gli obsoleti non durano più di qualche mese.

È un fenomeno chiave della gig economy, eppure trattato raramente. Si parla molto di rider, in questi giorni, ma anche questi lavoratori mi sembrano schiavi del clic per usare un’espressione di Antonio Casilli...
Sentii parlare di questo fenomeno, per la prima volta, nel 2014. In seguito, occupandomi di digitale e facendo il social media manager, ho cominciato a imbattermi in questi lavoratori sempre più di frequente. Dietro l’algoritmo c’è sempre, anche, una persona. Ovviamente non possiamo dimenticarci dell’algoritmo, ma se perdiamo di vista le persone che lavorano attorno o "dentro" quell’algoritmo, come nel caso dei moderatori di contenuti, ci lasciamo scappare un fenomeno fondamentale del lavoro cognitivo.

Quello che vale per i social, vale anche per i motori di ricerca?
Assolutamente sì. Ma il fenomeno è sempre lo stesso: le persone ignorano che, dall’altra parte dello schermo, ci sono lavoratori in carne ed ossa. O, peggio, pensano che siano algoritmi. Per me i moderatori di contenuti sono un esempio, forse il più estremo, dei nuovi lavori creati per "nutrire" le macchine digitali. Lavoratori che sono controllati e comandati dalle macchine e possono essere disconnessi dalle macchine stesse quando le loro performance non mantengono alcuni standard.
Il filo rosso di questo fenomeno è l’invisibilità. Nel mio libro non mi sono concentrato sulla violenza, sulle pressioni psicologiche o sul trauma che questi lavoratori certamente subiscono. Il focus è capire perché sono mantenuti invisibili. Anni fa si negava la loro esistenza, poi si è cominciato ad ammetterla senza mai dire quanti sono, chi sono e quali sono i contenuti moderati da esseri umani e quali dalle macchine. Mantenendo sfumato il loro effettivo impatto si minimizza l’importanza del lavoro di queste persone all’interno dell’economia delle piattaforme.

In sostanza, si nasconde il fatto che le piattaforme dipendono dal lavoro che non hanno alcuna competenza tecnica digitale avanzata come ci si aspetterebbe da loro...
Il grosso della forza lavoro delle piattaforme è costituito da lavoratori manuali, che mantengono il posto di lavoro per pochi mesi e rispondono in modo quasi meccanico alle consegne dell’azienda. Eppure senza di loro le piattaforme non sarebbero quello che sono attualmente. Probabilmente avrebbero anche molta più difficoltà a coinvolgere gli inserzionisti. Le piattaforme di maggior successo sono quelle che hanno investito maggiormente nella moderazione umana e in questa forza lavoro di riserva.

Non le sembra paradossale che, proprio in questi anni, mentre si parlava di uso discriminatorio della rete (hate speech, fake news), ci si dimenticasse proprio di questo esercito cognitivo di riserva?
La promessa che le piattaforme hanno fatto al proprio pubblico, ovvero abolire il lavoro dell’intermediario umano nella distribuzione e selezione di contenuti continua ad avere molto successo. Si crede a questa narrazione, nonostante le testimonianze dei moderatori che stanno uscendo allo scoperto. Si preferisce non vedere, non capire, al massimo dibattere sugli effetti, mai sulle strutture profonde. Probabilmente ci dobbiamo liberare di molte scorie che, negli anni delle magnifiche sorti dell’internet, si sono accumulate. Finché costa meno far lavorare un uomo, perché scegliere un algoritmo?

Circolano molti scenari apocalittici, ma forse un rapporto più centrato sull’umano, anche per le piattaforme, è possibile. Si tratta di dare visibilità all’invisibile e ristabilire alcuni punti di diritto...
A livello di moderazione di contenuti, la mia visione è che non si può continuare così. La soluzione non può essere unicamente dare più soldi ai moderatori o garantire loro sostegno psicologico, visti i livelli di burnout a cui sono soggetti. Il tema è più ampio, ad esempio andrebbe diviso il potere di diffondere dal potere di censurare, altrimenti si creano cortocircuiti sul piano socio-politico, oltre che su quello del diritto del lavoro. A un livello più macro, invece, bisognerebbe uscire dalla logica del “beta permanente”: quella logica che porta a immettere sul mercato prodotti e tecnologie che non sono testate a sufficienza, lo vediamo con Clubhouse. Dovremo in futuro pensare all’immissione di nuove tecnologie che debbano rispondere a principi predefiniti.

Che tipo di principi?
Principi, magari validati da entità terze, che dovrebbero toccare tre aspetti: il lavoro umano che accompagna la tecnologia; l’etica su cui sono costruiti gli algoritmi; come viene costruito il design delle piattaforme. Sono scelte che cambiano la nostra esperienza d’uso, ma anche l’impatto generale sulla nostra società e, di conseguenza, sul lavoro. Dobbiamo spingere affinché diventi trasparente dove finiscono di lavorare gli algoritmi e dove comincia il lavoro umano.

Perché il termine “obsoleti” per qualificare questi lavoratori?
Perché sono persone che arrivano a occupare un posto di lavoro come moderatori, magari prive di competenze specifiche, ma che una volta acquisite quelle competenze le perdono. Le perdono perché diventano obsolete e, di conseguenza, lo diventano lro stessi. Negli ultimi anni l’obsolescenza è passata dalle macchine agli uomini: è diventata il limite dell’umano rispetto alla tecnologia. Un limite nella nostra impossibilità di aggiornarci e apprendere nuove conoscenze. In realtà, i moderatori apprendono continuamente nuove conoscenze perché la policy e le regole d’ingaggio cambiano continuamente. Il limite che ho riscontrato è che non possono "dimenticare a comando" per cui, oltre un certo livello, non puoi fare come le macchine come se non avessi un passato e non avessi visto o letto certe cose. Rispetto alle macchine che ti fanno concorrenza, il problema non è l’aggiornamento, ma l’impossibilità del moderatore di contenuti di dimenticare a comando. Da un certo momento in poi ciò che hai imparato nel passato entra in conflitto con quanto dovresti applicare nel presente e, qui, il soggetto umano diventa "obsoleto". Esce dal sistema.

Presentazione del nuovo libro di Jacopo Franchi Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti. Con interventi di: Ornella Rigoni (Presidente Arci Bellezza), Alberto Molteni (Social Media Manager) e Dimitri Piccolillo (Mondadori Barona Bookstore)
Ascolta la presentazione

All’interno della trasmissione Login, Celia Guimaraes intervista Jacopo Franchi a proposito del suo nuovo libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti
Ascolta l’intervista

Negli ultimi anni sono emersi nuovi lavori fino a qualche tempo fa quasi impensabili: un esempio è quello dei rider, che nel giro di una decade da zero sono diventati migliaia. La tecnologia digitale ha prodotto anche altre figure lavorative emergenti, come i moderatori di contenuti, che si occupano di controllare e censurare l’attività degli utenti della piattaforme. I post su Facebook, TikTok, YouTube, Instagram, Twitter, come anche i commenti agli articoli dei quotidiani, esigono il lavoro – precario, stressante e soprattutto nascosto – di decine di migliaia di moderatori. Dietro l’illusione della completa automazione editoriale infatti si nascondono schiere di lavoratori che invece che produrre alla “catena di montaggio” editoriale (oggi i contenuti li producono gli utenti), vagliano e distruggono contenuti (pornografia, violenza, crudeltà su persone e animali, “terrorismo” e molto altro). La giornata del moderatore – sottoposto a un flusso video pregno di ultraviolenza in stile Arancia Meccanica – è raccontata in questo fondamentale libro inchiesta, frutto di dieci anni di approfondite ricerche e riflessioni. Un brillante saggio che si legge come un romanzo e che fa luce su un lavoro ripetitivo e logorante – che ahimè – sarà sempre più diffuso.

All’interno della trasmissione Cult, Ira Rubini intervista Jacopo Franchi sul suo ultimo libro Gli obsoleti. Il lavoro impossibile dei moderatori di contenuti
Ascolta il podcast