L’incompetenza probabile di Dunning e Kruger

Il fidato aggregatore di notizie mi ha proposto, qualche giorno fa, un articolo di Blair Fix su un blog chiamato Economics from the top down che demolisce (punta a demolire) il cosiddetto effetto Dunning-Kruger, perlomeno nella forma con cui è stato espresso nell’articolo scientifico originario.

Per coloro che negli ultimi vent’anni non avessero mai letto Internazionale, Repubblica o Il Sole 24 Ore, nel 1999 Dunning e Kruger condussero una serie di esperimenti che consistevano nel sottoporre i partecipanti a una serie di test e chiedendo poi loro di valutare la propria prestazione, prima di conoscere il risultato effettivo. Al termine degli esperimenti Dunning e Kruger sostennero di avere verificato che coloro che erano andati peggio erano anche quelli che sbagliavano di più nell’autovalutarsi, sistematicamente sovrastimando la propria abilità e quindi i propri risultati.

Se volessimo ricorrere alla saggezza dei modi di dire popolari, siamo nel campo del detto: meno ne sanno e più credono di saperne (curiosamente, gli articoli che parlano di effetto Dunning-Kruger usano invece citazioni colte adatte a quelli che… ne sanno, e quindi hanno letto Socrate, Alexander Pope o Shakespeare).

Mi pare di capire che la ricerca originale di Dunning-Kruger punti a indagare la relazione fra capacità cognitive (io penso) e metacognitive (io penso a come penso) e individuasse un doppio onere per le persone con basse prestazioni: non solo pensano male, ma pensano anche male al modo con cui pensano. Fuori del dibattito accademico, però, la teoria ha acquisito larga popolarità dopo la crisi finanziaria del 2008, quando le elite stupefatte dall’emergere di pensieri non convenzionali che le avversavano, sbrigativamente riassunti nel termine populismi, hanno trovato nell’effetto Dunning-Kruger, variamente combinato con le teorie sulle fake news, un modo paternalistico e rassicurante per riaffermare la propria superiorità intellettuale e per liquidare ogni critica al proprio privilegio, economico o di prestigio.

Questa liquidazione, se notate, è il filo conduttore dei tre articoli che ho citato all’inizio, a prescindere dalla reale esistenza o meno dell’errore di coloro contro cui ci si scaglia: Annamaria Testa giunge perfino a evocare Eco e le legioni di imbecilli, che non è male per chi predica la comunicazione non ostile.

Ora, personalmente, ho sempre dubitato dell’effetto Dunning-Kruger. Intanto, fa parte di quel tipo di lavori di psicologia sociale che sembrano costruiti per confermare sperimentalmente i pregiudizi e le fisime dell’ideologia dominante, molti dei quali sono oggi parte di una enorme crisi di replicabilità. in secondo luogo, per quanto nel dibattito sociale e politico attuale sia citato con grandissima enfasi, è alla fine di scarsa utilità pratica; è sempre bene averlo in mente per ricordarsi che è importante sapere di non sapere, ma per il resto può solo creare una paranoia paralizzante: se mi sembra che le mie competenze su una determinata materia siano superiori a quelle della media delle persone, come faccio a sapere se il mio giudizio è esatto o se invece è all’opera l’effetto Dunning-Kruger? Non posso, e quindi, è inutile. In realtà se ci si pensa il problema è che questo tipo di circolo vizioso dipende dal fatto che capacità cognitive e metacognitive sono a loro volta legate in maniera complessa, e l’approccio di Dunning e Kruger nel definirne il rapporto è rigidamente binario in maniera eccessiva: come scrivono Robert D. McIntosh and Sergio Della Sala, due psicologi dell’Università di Edimburgo in un articolo giusto di alcune settimane fa: «Se le nostre capacità cognitive sono deboli, questo varrà anche per le capacità metacognitive, e noi potremmo essere gli ultimi ad accorgercene. Sfortunatamente, lo schema proposto dall’effetto Dunning-Kruger in sé e per sé non fornisce prove credibili di questa teoria, non solo a causa della debolezza dell’analisi statistica, ma perché tipicamente gli studi sull’autovalutazione in realtà non misurano le capacità metacognitive. Chiedere a qualcuno di indicare con un numero quanto bene pensa di aver svolto un compito, o di valutarsi rispetto ad altri, può comportare un certo grado di autoconsapevolezza ma comporta anche capacità di formulare ipotesi e di procedere per approssimazione, e non c’è un modo semplice di sbrogliare l’intrico di questi fattori».

Avevo pensato di tradurre l’articolo di Fix, la cui critica non verte tanto sul contenuto quanto sul metodo: l’esperimento originale è costruito in modo da creare in suoi propri risultati in maniera automatica a causa di un artificio statistico. L’elegante confutazione si basa sul ripetere i calcoli con numeri generati casualmente: l’effetto Dunning-Kruger si ripresenta anche in questo caso, in maniera evidentemente paradossale. La spiegazione è nel fatto che è all’opera un meccanismo di autocorrelazione, cioè le due variabili considerate sono connesse fra loro – in pratica sono la stessa variabile – e quindi l’effetto statistico si ripresenta per forza.

Poi, però, leggendo la veemente risposta di Dunning alle critiche di Mcintosh e Della Sala, ho visto che rivendicava che l’effetto a cui ha dato il nome si ripresenta in studi non costruiti col meccanismo dello studio originale, cioè che usano le variabili in modo diverso. La confutazione di Fix era cioè valida, ma limitata.

Intendiamoci, seguendo il suggerimento dello stesso Fix mi sono letto lo studio originario di Dunning e Kruger. Diceva Fix: «…Dunning e Kruger sono ottimi scrittori, e otteniamo la ricetta per un articolo di richiamo. Sotto questo punto di vista, vi raccomando di leggerlo, perché ci ricorda che la buona retorica non equivale a buona scienza». Ora, a me non sembra poi scritto in questa maniera così abile, ma certo dal punto di vista della buona scienza rivela delle sorprese: per esempio, credo che la maggior parte delle persone creda che il test a cui erano stati sottoposti i partecipanti fosse un qualche test di cultura generale, o relativo a una materia valutabile oggettivamente. Invece Dunning e Kruger hanno preso una serie di battute comiche e freddure, hanno chiesto a un gruppo di comici professionisti di valutarne la spiritosità, e sulla base della graduatoria così ottenuta hanno considerato la maggiore o minore competenza dei partecipanti; poi, naturalmente, tutto va nel calderone dell’errore statistico, ma certo si rimane sorpresi.

Comunque, per tornare a noi, la confutazione di Fix, che è basata su due articoli molto citati di Nuhfer, del 2016 e 2017, è convincente ma non completa perché, come fa notare Dunning, altri studi che rafforzano la sua tesi impiegano metodiche differenti. Il problema, però, che c’è ormai un largo campo di letteratura che confuta complessivamente anche questi studi: se ne trova un elenco in un articolo del 2020 di Gignac e Zajenkowski che riprendendo un articolo del 2002 di Krueger – che, attenzione, non è Kruger – e Mueller spiegano l’effetto Dunning-Kruger come una combinazione di due fenomeni abbastanza noti: la regressione verso la media e l’illusione di essere meglio della media; un altro articolo che mi sono letto, di Magnus e Peresetsky, ha nell’introduzione una ricostruzione molto simile delle critiche avanzate dal fronte statistico al lavoro di Dunning e Kruger: in tutti i casi l’obiezione si riassume nel fatto che sono presenti dei meccanismi statistici che spiegano il fenomeno senza bisogno di scomodare dimensioni cognitive o psicologiche.

Da questa serie di letture mi porto via tre considerazioni.

La prima è, ancora una volta, la constatazione di come la scienza sia – possa essere – sociale, cioè segua l’ideologia: se la critica di Krueger e Mueller risale al 2002, molto vicina all’uscita del lavoro originale di Dunning e Kruger, ci si dovrebbe chiedere come sia possibile che abbiamo passato vent’anni a farci ammorbare da una teoria piuttosto elitista; la risposta, in realtà è insita nella domanda; è successo esattamente perché era elitista e si accordava con le esigenze politiche del momento, esattamente come la favoletta del bambino sobrio che è capace di rimandare il consumo delle caramelle e quindi poi diventa capitano d’industria era funzionale a un certo tipo di ideologia capitalista e alla propaganda del sogno americano.

La seconda osservazione è più facile da fare dopo che abbiamo vissuto la pandemia e abbiamo visto quante minchiate – scusate, ma non c’è altra parola – statistiche possano essere diffuse senza battere ciglio da scienziati anche di grido nelle rispettive specialità; davvero la statistica è una scienza incompresa.

La terza osservazione è che dire che l’effetto Dunning-Kruger è una teoria elitista non vuol dire che non sia vero che non ci siano gli ignoranti o che la preparazione non conti – al massimo la lezione che possiamo trarne è che, talvolta, sono gli scienziati di grido stessi a essere, secondo il titolo dell’articolo orinale di Dunning e Kruger, inabili e incoscienti della propria inabilità, ma in generale la formazione e la preparazione contano: se ne trova ampiamente traccia negli articoli di Nuhfer, che ha fatto esperimenti impostati in maniera differente e statisticamente robusta, e soprattutto c’è un bellissimo articolo di Rozenblit e Kiel che non avrei mai letto se non mi fossi dovuto ricostruire tutta l’altra polemica sulle distorsioni cognitive e che si concentra sul perché le persone credono che le loro spiegazioni di un fenomeno siano più approfondite e profonde di quello che sono in realtà, e come mai questo valga meno per tipi di conoscenza: un articolo che quindi consiglio del tutto.