La scienza non ha fallito…

…ma certo non fa una vita facile. Ho trovato su FiveThirtyEight un interessante articolo sul metodo scientifico: niente di trascendentale, tutte cose che si dovrebbero sapere già ma che non sono particolarmente discusse, mi pare, nelle frequenti zuffe fra vaccinisti, antivaccinisti, scettici di professione, fautori di cure alternative, nemici della scienza ufficiale o difensori dell’ortodossia scientifica (i quali spesso paiono i meno edotti sul metodo scientifico) e che come tali possono addirittura apparire provocatorie alle orecchie di certi.

Una sola nota di traduzione: era indispensabile mantenere alcune illustrazioni originali: per quelle, non potendole tradurre, ho aggiunto delle brevi spiegazioni. C’erano anche delle definizioni e delle note, che ho inserito nel testo come citazioni.

L’articolo originale è del 19 agosto 2015. Parte dell’articolo discute un test statistico detto del “valore p” sul quale raccomando anche la lettura di un articolo di Regina Nuzzo su Nature che non ho il tempo di tradurre ma che è molto importante (è citato anche qui, insieme a un zilione di altre letture interessanti).

La scienza non ha fallito

È solo maledettamente più difficile da fare di quanto noi le riconosciamo

di Christie Aschwanden

Grafica di Ritchie King

Se seguite i titoli delle notizie la vostra fiducia nella scienza può essere stata scossa, recentemente. Revisione tra pari? Più probabilmente auto revisione. A novembre un’indagine ha rivelato un marchingegno per il quale dei ricercatori sostanzialmente approvavano il loro stesso lavoro, circumnavigando la revisione dei pari in cinque importanti case editoriali. Riviste scientifiche? Non esattamente un sigillo di legittimazione, dato che l’International Journal of Advanced Computer Technology recentemente ha accettato per la pubblicazione un articolo intitolato Toglimi dalla tua fottuta mailing list il cui testo non era niente più che quelle sei parole, ripetute per più di dieci pagine. Due altre riviste hanno permesso a due ricercatori che si firmavano Maggie Simpson e Edna Krabappel di pubblicare un articolo, Configurazioni omogenee fuzzy. Scoperte rivoluzionarie? Probabilmente inventate. A maggio un paio di studenti specializzandi dell’Università della California a Berkeley, hanno scoperto irregolarità nell’influente articolo di Michael LaCour che suggeriva che una conversazione faccia a faccia con un gay potesse cambiare il modo ciò che le persone provavano riguardo ai matrimoni omosessuali. La rivista Science ha ritirato l’articolo poco dopo, quando il coautore di LaCour non è riuscito a trovare traccia dei dati empirici [su cui lo studio sarebbe stato apparentemente basato, NdRufus; il caso era particolarmente spinoso perché sulla sua base sono state prese posizioni politiche e sociali considerate ormai consolidate].

Presi tutti insieme, titoli come questi potrebbero suggerire che la scienza è un’impresa oscura che semina in giro un mucchio di cose prive di senso ma ben presentate. Ma io ho passato mesi a investigare i problemi che assillano la scienza e ho scoperto che i casi di comportamenti scorretti e frodi che arrivano nelle prime pagine sono semplici distrazioni. Lo stato della nostra scienza è solido, ma è tormentato da un problema generale: la scienza è dura – davvero dannatamente dura.

Se dobbiamo affidarci alla scienza come un mezzo per raggiungere la verità – ed è ancora il mezzo migliore che abbiamo – è importante che comprendiamo e rispettiamo esattamente quanto sia difficile giungere a un risultato rigoroso. Potrei pontificare su tutti i motivi per i quali la scienza è difficile, ma invece lascerò che ne sperimentiate direttamente una. Benvenuti nel mondo dello smanettamento del p.

[NdRufus. L’esercizio è questo: nei panni di uno scienziato volete dimostrare che l’economia americana è influenzata da chi sta al governo, Repubblicani o Democratici. Per “chi sta al potere” potete intendere includere (e includere sbarrando il quadratino corrispondente) il Presidente, i Governatori, i Senatori e i Deputati. Per “economia” potete inserire l’occupazione, l’inflazione, il prodotto nazionale lordo e il valore della Borsa. Se riuscite a ottenere un valore dell’indice statistico p sotto una certa soglia il vostro lavoro è pubblicabile.]

Se avete spizzicato le variabili finché non avete provato che i Democratici sono un bene per l’economia, congratulazioni; potete votare per Hillary Clinton con soddisfazione. Ma non vantatevene con gli amici. Avreste potuto provare lo stesso per i Repubblicani.

I dati nel nostro strumento interattivo possono essere ristretti o espansi (manipolazione del p) per far si che ciascuna delle due ipotesi appaia corretta. Questo dipende dal fatto che anche una domanda scientifica semplice – quale partito è correlato col successo economico – richiede moltissime scelte che possono influenzare il risultato. Questo non vuol dire che la scienza sia inaffidabile. Vuol dire solo che è più sfidante di quanto noi qualche volta ammettiamo.

Quale partito politico sia  meglio per l’economia sembra una domanda discretamente diretta. Ma come avete visto è più facile ottenere un risultato che avere una risposta. Le variabili nei dati utilizzati per testare la vostra ipotesi avevano 1800 possibili combinazioni. Di queste, 1078 rappresentavano un valore p pubblicabile

Un valore p minore o uguale a 0,05 è considerato statisticamente significativo, almeno in psicologia e nelle scienze della vita. Fisica e alcuni altri campi utilizzano soglie anche più stringenti.

ma questo non vuol dire che questi mostrassero che il fatto che un determinato partito fosse al potere avesse un forte effetto sull’economia. Molti non lo facevano.

Un valore p non rivela quasi nulla riguardo alla forza dele prove a favore, tuttavia un valore p di 0,05 è divenuto un biglietto d’ingresso per molte riviste. «Il metodo dominante usato [per valutare i dati] è il valore p», ha detto Michael Evans, uno statistico dell’Università di Toronto, «ed è ben noto che il valore p non lavora molto bene».

La fiducia eccessiva degli scienziati sul valore p ha portato almeno una rivista a decidere di averne avuto abbastanza. A febbraio Basic and Applied Social Psychology ha annunciato che non pubblicherà più valori p. «Crediamo che la barriera di p < .05 sia troppo facile da superare e che qualche volta serva come scusa per qualità di livello inferiore», hanno scritto i redattori nel loro avviso. Invece dei valori p la rivista richiederà «solida statistica descrittiva, compresa la misura degli effetti».

Dopo tutto, ciò che gli scienziati vogliono davvero conoscere è se la loro ipotesi è vera, e in quel caso quanto sia solido il risultato. «Un valore p non da questo – non può mai darvelo», secondo Regina Nuzzo, una statistica e giornalista di Washington, che ha scritto a proposito dei problemi del valore p  su Nature l’anno scorso. Invece potete pensare al valore p come a un indice di sorpresa. Quanto sarebbero sorprendenti i vostri risultati se voi assumeste che la vostra ipotesi fosse falsa.

Man mano che voi manipolavate tutte quelle variabili nell’esercizio qua sopra, voi avete plasmato i vostri risultati utilizzando quelli che gli psicologi Uri Simonsohn, Joseph Simmons e Leif nelson chiamano i gradi di libertà del ricercatore, le decisioni che gli scienziati fanno man mano che conducono uno studio. Queste scelte comprendono cose come quali osservazioni registrare, quali confrontare, per quali fattori eseguire controlli o, nel vostro caso, se misurare l’economia utilizzando i valori dell’occupazione o dell’inflazione (o entrambi). I ricercatori spesso fanno queste scelte man mano che lavorano, e spesso non c’è un modo evidentemente corretto di procedere, il che pone la tentazione di provare cose differenti finché non ottenete i risultati che state cercando.

Gli scienziati che procedono a tentoni in questo modo – quasi tutti lo fanno, mi ha detto Simonsohn – non stanno di solito barando, né hanno intenzione di farlo. Stanno solo cedendo a naturali pregiudizi umani che li portano a far pendere la bilancia in un certo modo e a impostare studi che producono come risultato dei falsi positivi.

Poiché pubblicare risultati innovativi può portare a uno scienziato ricompense come cattedre e incarichi, c’è un ampio incentivo alla manipolazione del p. In effetti quando Simonsohn analizzò la distribuzione dei valori p negli articoli di psicologia pubblicati, scoprì che erano sospettosamente concentrati intorno allo 0,05. «Tutti hanno manipolato il p almeno un pochino», mi ha detto Simonsohn.

Ma questo non significa che i ricercatori sono una massa di venditori porta a porta, alla LaCour. Ciò che vuol dire è che sono umani. La manipolazione del p e altri tipi di montaggi e smontaggi spesso hanno origine in pregiudizi umani. «Lo si può fare in maniera inconscia – io l’ho fatto in maniera inconscia», mi ha detto Simonsohn. «Tu credi davvero alla tua ipotesi e ottieni dei dati e c’è ambiguita su come interpretarli». Quando la prima analisi che provi non dà il risultato che cerchi, continui a provare finché non ne trovi una che lo fa (e se tutto non funziona, può sempre provare a FIaRNare – Fare Ipotesi a Risultati Noti).

Lievi (o anche non lievi) manipolazioni come queste infestano talmente tanti studi che lo studioso di metascienza di Stanford John Ioannidis

Secondo Il Merrian-Webster la metascienza è «una teoria o scienza della scienza» [NdRufus]

ha concluso, in un famoso articolo del 2005, che la maggior parte dei risultati di ricerca pubblicati sono falsi. «È davvero difficile fare bene una ricerca», mi ha detto, ammettendo che anche lui ha sicuramente pubblicato risultati scorretti. «Ci sono così tanti potenziali elementi distorsivi e e errori e questuioni che possono interferire con la possibilità di ottenere un risultato affidabile e credibile». E tutavia nonostante questa conclusione, Ioannidis non ha rinunciato alla scienza. Al contrario, ha giurato di proteggerla.

La manipolazione del p è spesso considerata come barare, ma cosa succederebbe se invece la rendessimo obbligatoria? Se il fine degli studi è quello di spingere in avanti le frontiere della conoscenza, allora forse giocherellare con metodi differenti non dovrebbe essere considerato uno sporco trucco, ma incoraggiato come un metodo di esplorare le aree di confine. Un recente progetto guidato da Brian Nosek, uno dei fondatori di Center for Open Science, una organizzione no profit, ha fornito un modo intelligente per farlo.

Il gruppo di Nosek ha invitato dei ricercatori a prendere parte in un progetto collaborativo di analisi di dati. Ai partecipanti venne dato lo stesso gruppo di dati e la stessa domanda: gli arbitri di calcio mostrano più facilmente il cartellino rosso a giocatori con la pelle scura rispetto a quelli con la pelle chiara? Quindi gli è stato chiesto di inviare il proprio approccio analitico in modo per un riscontro dagli altri gruppi prima di gettarsi a capofitto nell’analisi.

Al progetto hanno partecipato ventinove gruppi per un totale di 61 analisti. I ricercatori hanno utilizzato un’ampia varietà di metodi, a partire – per quelli di voi interessati alle frattaglie metodologiche – da semplici regressioni lineari a complesse regressioni multilivello e approcci bayesiani. Hanno anche preso decisioni differenti riguardo alle variabili secondarie da usare nelle loro analisi.

Sebbene analizzassero gli stessi dati, i ricercatori hanno ottenuto una varietà di risultati. Venti gruppi hanno stabilito che gli arbitri di calcio danno più cartellini rossi ai giocatori con la pelle scura, e nove gruppi non hanno trovato nessuna relazione significativa fra colore della pelle e cartellini rossi.La variabilità dei risultati non era dovuta frodi o a un lavoro poco curato. Si trattava di analisti altamente competenti che erano ben intenzionati a scoprire la verità, ha detto Eric Luis Uhlmann, uno psicologo della scuola di economia aziendale Insead di Singapore e uno dei leader del progetto. Perfino i ricercatori più abili devono fare scelte soggettive che hanno un enorme impatto sui risultati che ottengono.

Ma questi risultati divergenti non indicano che gli studi non possano farci muovere gradatamente verso la verità. «Per un verso il nostro studio mostra che i risultati sono fortemente dipendenti dalle scelte di analisi», mi ha detto Uhlmann. «Per un altro verso, suggerisce anche che c’è un c’è là che c’è. È difficile guardare i dati e dire che non c’è uno squilibrio a sfavore dei giocatori con la pelle scura». Allo stesso modo la maggior parte delle permutazioni che si potevano verificare nello studio sulla politica  e l’economia producevano, al massimo, solo effetti deboli, il che suggeriva che se c’è una relazione fra il numero dei Democratici o dei Repubblicani in carica e l’economia, non è particolarmente forte.

La lezione importante in questo caso è che una singola analisi non è sufficiente per trovare una risposta definitiva. Ogni risultato è una verità temporanea, che è soggetta a cambiare quando arriva qualcun altro a costruire un’ipotesi, verificarla e analizzarla di nuovo.

Ciò che rende la scienza così potente è che si corregge da sola – certo, vengono pubblicate false scoperte, ma alla fine arrivano nuovi studi che le soppiantano, e la verità è rivelata. O almeno, questo è come si suppone che debba funzionare. Ma l’editoria scientifica non ha un curriculum particolarmente esaltante quando si parla di autocorrezione. Nel 2010 Ivan Oransky, un medico che è anche direttore editoriale di MedPage Today, inaugurò un blog intitolato Retraction Watch [più o meno Osservatorio delle ritrattazioni, NdRufus] con Adam Marcus, caporedattore di Gastroenterology & Endoscopy News e di Anesthesiology News. I due si conoscevano professionalmente ma erano diventati amici seguendo entrambi il caso contro Scott Reuben, un anestesista che nel 2009 fu scoperto che aveva falsificato i dati in almeno ventuno studi.

Il primo articolo di Retraction Watch era intitolato: «Perché tenere un blog sulle ritrattazioni?». Cinque anni più tardi, la risposta si spiega da sola: perché senza uno sforzo organizzato per prestare attenzione, nessuno si accorgerà di che cosa c’era di sbagliato fin dalla base. «Credevo che avremmo fatto un articolo al mese», mi ha detto Marcus. «Non credo che nessuno di noi due pensasse che saremmo arrivati a due o tre al giorno». Ma dopo un’intervista radiofonica e l’attenzione dei media rivolta all’attenzione dedicata dal blog a Marc Hauser, uno psicologo di Harvard sorpreso a falsificare i dati, le segnalazioni cominciarono a accumularsi. «Ciò che è diventato chiaro è che c’era un gran numero di persone nel campo scientifico che erano frustrate dal modo col quale venivano gestiti i comportamenti scorretti, e queste persone ci hanno trovato molto in fretta», ha dichiarato Oransky. Il sito ora raccoglie 125000 visualizzazioni uniche al mese.

Sebbene il sito si focalizzi ancora su ritrattazioni e correzioni, tratta anche in maniera più ampia comportamenti scorretti e errori. Soprattutto «è una piattaforma dove le persone possono discutere e rivelare casi di falsificazione dei dati», dice Daniele Fanelli, ricercatore capo al Meta-Research Innovation Center di Stanford. Le segnalazioni dei lettori hanno aiutato a creare un’esplosione dei contenuti e il sito ora impiega una squadra numerosa e sta costruendo un vasto database di ritrattazioni, liberamente accessibile, con l’aiuto di un finanziamento di 400000 dollari della MacArthur Foundation.

Marcus e Oransky sostengono che le ritrattazioni non dovrebbero essere automaticamente considerate una macchia sulla reputazione dell’impresa scientifica; piuttosto esse segnalano che la scienza sta correggendo i suoi errori.

Le ritrattazioni avvengono per una varietà di motivi, ma il plagio e la manipolazioni delle immagini (truccando le immagini ottenute da microscopi o gel, per esempio, così da mostrare i risultati desiderati) sono i due più comuni, mi ha detto Marcus. Sebbene le falsificazioni totali siano relativamente rare, la maggior parte degli errori non sono semplici errori involontari. Uno studio del 2012 del microbiologo Ferric Fang e dei suoi colleghi [sic, NDRufus ]dell’Università di Washington ha concluso che due terzi delle ritrattazioni erano dovute a a comportamenti scorretti.

Dal 2001 al 2009, il numero delle ritrattazioni pubblicate sulla letteratura scientifica è cresciuto di dieci volte. Rimane questione discussa se questo dipenda dal fatto che i comportamenti scorretti sono in crescita o se sia solo più facile scoprirli. Fang sospetta, basandosi sulla sua esperienza come redattore di una rivista, che i comportamenti scorretti stiano diventando più comuni. Altri non sono così sicuri. «È facile dimostrare – io l’ho fatto – che tutta questa crescita di ritrattazioni è spiegata dal numero di nuovi giornali che stanno facendo le smentite», dice Fanelli. Tuttavia, anche con la crescita delle ritrattazioni, meno dello 0,02% delle pubblicazioni sono ritirate ogni anno.

Si suppone che la revisione dei pari protegga contro la scienza scadente, ma a novembre Oransky, Marcus e Cat Ferguson, ai tempi un redattore a Retraction Watch, hanno scoperto una cabala di revisioni dei pari fraudolente nella quale alcuni autori sfruttavano dei buchi nei sistemi informatici degli editori in modo da potersi recensire da soli i propri articoli (o quelli dei propri stretti colleghi).

Anche le revisioni dei pari corrette lasciano passare una buona quantità di errori. Andrew Vickers è il redattore statistico alla rivista European Urology e un biostatistico al Memorial Sloan Kettering Cancer Center. Alcuni anni fa decise di redigere delle linee per gli autori che descrivessero i più comuni errori statistici e come evitarli. In preparazione alla redazione dell’elenco lui e i suoi colleghi riesaminarono gli articoli che la rivista aveva già pubblicato. «Dovemmo passarne diciassette all’indietro prima di trovarne uno senza un errore», mi ha detto. Il suo giornale non è l’unico – problemi simili sono stati scoperti, mi ha detto, in anestesia, cura del dolore, pediatria e in numerosi altri tipi di riviste.

Molti revisori semplicemente non controllano i metodi e le decisioni statistiche di un articolo, e Arthur Caplan, un esperto di etica medica alla Università di New York, mi ha detto che questo dipende parzialmente dal fatto che non sono pagati o ricompensati per il lungo lavoro di revisione.

Alcuni studi vengono pubblicatati direttamente senza revisione, man mano che i cosiddetti editori predatori saturano la letteratura scientifica con riviste che sono sostanzialmente dei falsi, che pubblicano qualunque autore che paghi. Jeffrey Beall, un bibliotecario dell’Università del Colorado di Denver, ha compilato una lista di più di 100 cosiddetti editori predatori di riviste scientifiche. Queste riviste spesso hanno nomi che suggeriscono una identità legittima, come l’Internationa Journal of Advanced Chemical Research e creano l’opportunità per degli spostati di dare alle loro idee non scientifiche una patina di legittimità (i falsi articoli Toglimi dalla tua fottuta mailing list e Simpson sono stati pubblicati su riviste simili).

Le riviste predatorie prosperano, in parte, a causa dell’influenza che la quantità di pubblicazioni esercita quando si tratta di ottenere lavori e fondi di ricerca, creando incentivi per i ricercatori per imbottire i propri curriculum con articoli aggiuntivi.

Ma Internet sta cambiando il modo con il quale gli scienziati distribuiscono e discutono le loro idee e i loro dati, il che può rendere più difficile far passare articoli sciatti per buona scienza. oggi quando un ricercatore pubblica uno studio i suoi pari gli sono tutti attorno per discuterlo e criticarlo sulla rete. Talvolta dei commenti sono pubblicati sullo stesso sito della rivista nella forma di risposte veloci, e nuovi progetti come PubMed Commons e PubPeer forniscono gruppi di discussione revisioni dei pari veloci, successive alla pubblicazione. Discussini sulle ultime pubblicazioni hanno anhe luogo comunemente sui blog scientifici e sui media  social, che possono collaborare a diffondere le informazioni riguardanti risultati controversi o corretti.

«Una delle cose a favore delle quali stiamo facendo pressione è che gli scienziati, le riviste e le università smettano di comportarsi come se le frodi fossero  qualcosa che non capita mai», mi ha detto Oransky. Ci sono cattivi partecipanti nella scienza come ci sono negli affari o in politica.  «La differenza è che la scienza ha davvero un meccanismo di autocorrezione. È solo che non sempre funziona». Il ruolo da cane da guardia di Retraction Watch ha costretto ha costretto a rispondere maggiormente delle proprie azioni. L’editore del Journal of Biological Chemistry, per esempio, si è talmente stancato delle critiche di Retraction Watch che ha assunto un responsabile dell’etica delle pubblicazioni per far sì che la sua fedina scientifica risultasse più incline all’autocorrezione. Retraction Watch ha avvisato le riviste – se provano a ritrattare gli  articoli senza commenti, possono aspettarsi di essere messe apertamente in discussione. Il dibattito sulle manchevolezze della scienza è diventato pubblico.

Dopo il diluvio di ritrattazioni, le storie di frodi, i falsi positivi, e i fallimenti di alto profilo del tentativo di replicare studi fondamentali, alcune persone hanno cominciato a chiedersi: «La scienza ha fallito?». Ho passato molti mesi a porre la domanda a dozzine di scienziati, e la risposta che mi è stata data è un sonoro “no”. La scienza non ha fallito e non è neanche inaffidabile. È soltanto molto più difficile di quanto la maggior parte di noi immagini. Possiamo porre più attenzione nella progettazione degli studi e richiedere elaborazioni statistiche e metodi analitici più accurati, ma si tratta solo di una soluzione parziale. Per rendere la scienza più affidabile, abbiamo bisogno di adattare le nostre aspettative al suo riguardo..

La scienza non è una bacchetta magica che trasforma ogni cosa che tocca in verità. AL contrario, «la scienza opera come un procedimento per ridurre l’incertezza», ha detto Nosek, del Center for Open Science. «L’obiettivo è quello di essere meno nell’errore lungo il tempo». Il concetto è fondamentale – qualunque cosa noi conosciamo è solo la nostra migliore approssimazione alla verità. Non possiamo mai presumere di sapere tutto..

«Per definizione, siamo inclini a provare e trovare risultati estremi», mi ha detto Ioannidis, lo studioso di metascienza. Le persone vogliono provare qualcosa, e un risultato negativo non soddisfa quella pulsione. Lo studio seminale di Ioannidis è solo uno di quelli che hanno indicato i mdi con i quali gli scienziati consciamente o inconsciamente fanno pendere i piatti della bilancia in favore dei risultati che stanno cercando, ma i difetti metodologici che lui e altri ricercatori hanno identificato spiegano solo come i ricercatori arrivino a falsi risultati. Per arrivare al fondo del problema, dobbiamo capire perché siamo così inclini a tenerci strette le idee sbagliate. E questo richiede esaminare qualcosa di ancora più fondamentale: il modo distorto con il quale la mente umana forma le credenze.

Alcune di queste distorsioni sono utili, almeno fino a un certo punto. Prendete, per esempio, il realismo ingenuo – l’idea che qualunque credenza voi abbiate, la crediate perché è vera. Questa forma mentis è pressoché essenziale per fare scienza, mi ha detto lo studioso di meccanica quantistica Seth Lloyd del MIT. «Devi credere  che qualunque cosa sulla quale tu stia lavorando in quel momento sia la soluzione per avere la passione  el’energia che ti sono necessarie per lavorare». Ma le ipotesi sono di solito sbagliate e quando i risultati smontano un’idea a cui si è affezionati un ricercatore deve apprendere dall’esperienza e mantenere, come Lloyd l’ha descritta, «il principio ottimistico che, “Ok, magari quell’idea non era giusta, ma la prossima lo sarà”».

«La scienza è grandiosa, ma ha bassi rendimenti», mi ha detto Fang. «La maggior parte degli esperimenti fallisce. Questo non vuol dire che la sfida non abbia valore in se stessa, ma non ci possiamo aspettare che ogni dollaro dia un risultato positivo. La maggior parte delle cose che proviamo alla fine non funziona – è semplicemente la natura del processo». Piuttosto che semplicemente evitare i fallimenti, dobbiamo imparare a corteggiare la verità.

E tuttavia anche di fronte a prove schiaccianti, è duro abbandonare un’idea a lungo accarezzata, specialmente una sul cui sviluppo uno scienziato ha costruito una carriera. E così, come sa chiunque abbia mai provato a correggere una falsità su Internet, la verità non vince sempre, almeno non inizialmente, perché noi gestiamo le nuove prove attraverso la lente di ciò che già conosciamo. IL pregiudizio confermativo può renderci ciechi di fronte ai fatti; noi ci facciamo in fretta un’opinione e siamo lenti a cambiarla di fronte a nuove prove.

Alcuni anni fa, Ionnidis e alcuni colleghi scandagliarono la letteratura scientifica alla ricerca di riferimenti a due ben noti studi epidemiologici che sostenevano che dosi di vitamina E potessero proteggere contro malattie cardiovascolari. Questi studi erano stati seguiti da svariati ampi studi clinici randomizzati che non mostravano benefici dalla vitamina E e da una metaanalisi che aveva scoperto che ad alte dosi la vitamina E in realtà poteva aumentare il rischio di morte.

Nonostante le prove in senso contrario provenienti da studi più rigorosi, i primi studi continuavano a essere citati e difesi nella letteratura. Affermazioni dubbie riguardo all’abilità del beta-carotene di ridurre il rischio di cancro e degli estrogeni di tenere a bada la demenza continuavano anch’esse a persistere, sebbene fossero state soppiantate da studi più conclusivi. Una volta che un’idea si fissa, diventa difficile rimuoverla dal senso comune.

Alcune volte le idee scientifiche persistono oltre l’evidenza perché le storie che noi raccontiamo su loro sembrano vere e confermano ciò che noi già crediamo. È naturale pensare a possibili spiegazioni per i risultati scientifici – questo è il modo col quale li poniamo in un contesto e accertiamo quanto possano essere plausibili. I problemi arrivano quando ci innamoriamo tanto di queste spiegazioni da respingere le prove che le confutano.

I mezzi di comunicazione sono spesso accusati di gonfiare i risultati di alcuni studi, ma anche gli scienziati sono inclini a sopravvalutare i loro risultati.

Prendiamo, per esempio, lo studio sulla colazione. Pubblicato nel 2013, valutava se coloro che facevano la colazione pesassero meno di quelli che la saltavano e se la colazione proteggesse contro l’obesità. Lo studioso dell’obesità Andrew Brown e i suoi colleghi hanno verificato che sebbene 90 citazioni di questa ipotesi siano state pubblicate su diversi mezzi di comunicazione e riviste, le prove dell’effetto della colazione sul peso corporeo sono tenui e circostanziali. Tuttavia i ricercatori sul campo sembravano ciechi a questi difetti, sopravvalutando le prove e utilizzando un linguaggio di tipo causale per descrivere le relazioni fra colazione e obesità. Il cervello umano è impostato per trovare nessi di causa anche dove non ne esistono, e gli scienziati non sono immuni.

Da un punto di vista sociale, le nostre storie su come funzioni la scienza sono anch’esse portate all’errore. Il modo abituale di pensare al metodo scientifico è: fatti una domanda, fai uno studio, ottieni una risposta. Ma questa idea è ampiamente semplicistica. Un percorso più usuale verso la verità potrebbe essere considerato questo: fatti una domanda, fai uno studio, ottieni una risposta parziale o ambigua, poi fai un altro studio, e poi un altro per continuare a testare ipotesi e andare a bersaglio su una risposta più completa. Le manchevolezze umane muovono in avanti il procedimento scientifico da una convulsione all’altra, false partenze e deviazioni invece che una linea diretta dalla domanda alla verità.

I reportage giornalistici tendono a ignorare le sfumature ed è facile capire il perché. Prima di tutto, i giornalisti e i redattori che seguono le notizie scientifiche non sempre hanno l’addestramento per interpretare gli studi. E i titoli che dicessero: «Uno studio debole e non replicato trova una debole relazione fra alcune verdure e il rischio di cancro» non hanno lo stesso richiamo sul bancone o attirano i click come quelli che strillano: «Cibo che combatte il cancro!».

Spesso le persone scherzanosulla natura contraddittoria dei titoli su scienza e salute sui media – il caffè ti fa bene un giorno, male il giorno dopo – ma questo avanti e indietro rappresenta esatta ciò che è davvero il processo scientifico. Èdifficile misurare esattamente l’impatto della dieta sulla salute, mi ha detto Nosek. «La variabilità [dei risultati] dipende dal  fatto che la scienza è difficile». Isolare l’effetto del caffè sulla salute richiede moltissimi studi e moltissimi esperimenti, e solo lungo il tempo e dopo molti, molti le prove cominciano a convergere verso una conclusione che è sostenibile. «La variabilità dei risultati non dovrebbe essere considerata una minaccia», secondo Nosek. «Vuol dire che gli scienziati stanno lavorando su un problema difficile».

Il metodo scientifico è il percorso più rigoroso verso la conoscenza, ma è anche complicato e difficile. La scienza merita rispetto esattamente perché è difficile – non perché ottiene tutto esatto al primo tentativo. L’incertezza inerente alla scienza non vuol dire che non possiamo usarla per determinare importanti decisioni e politiche pubbliche. Vuol dire semplicemente che dovremmo rimanere cauti e adottare una forma mentis che rimane aperta al cambiare rotta se giungono nuovi dati. Dovremmo prendere le migliori decisioni possibili sulla base delle prove a disposizione e aver cura di non perdere di vista della loro forza e del loro grado di probabilità. Non è un caso che ogni buon articolo includa la frase «ulteriore ricerca è necessaria» – c’è sempre altro da imparare.

CORREZIONE (19 agosto, 12:10 p.m.): Una versione precedente della manipolazione interattiva del p aveva un’etichetta sbagliata per una variabile: era GPD [PNL, NdRufus], non produttività.