La strage dei sondaggi

Sulle elezioni americane seguo da mesi FiveThirtyEight, il sito di elaborazioni statistiche di Nate Silver: anche se ha cannato clamorosamente le previsioni sulle primarie repubblicane rimane un sito ben fatto, molto informativo ed equilibrato.

FiveThirtyEight è un aggregatore di sondaggi: tiene conto di tutte le rilevazioni che sono pubblicate, le elabora secondo un proprio modello statistico e poi valuta l’andamento della campagna elettorale; tutta roba piuttosto diffusa negli Stati Uniti e molto meno nota da noi, anche per effetto del divieto di pubblicare sondaggi a ridosso delle elezioni (sarebbe interessante fare confronti, ma la cosa ci porterebbe lontano). Gli aggregatori (che hanno metodologie piuttosto diverse) sono un passo avanti molto importante rispetto al singolo sondaggio: danno una visione della situazione più sfumata e più approfondita e sono meno inclini al sensazionalismo (anche qui sarebbe interessante fare confronti con il modo col quale uniformemente la stampa italiana ha riferito sull’andamento della campagna elettorale americana, ma anche questo ci porterebbe lontano).

Parentesi: è vero che Trump è in rimonta e potrebbe vincere, ma la cosa andrebbe magari specificata rispetto a quel che si dice in Italia: se volete c’è un interessante articolo di Silver sulle vie verso la vittoria e una piccola chiacchierata degli analisti del sito. La mia impressione è che Silver, che fino al terzo dibattito era stra-sicuro della vittoria della Clinton, abbia in qualche modo fiutato l’aria e stia mettendo le mani avanti: se questo sia genio (e quindi vuol dire che vince Trump) oppure semplice conseguenza del fatto che si è scottato alle primarie e vuole evitare un’altra figuraccia potremo saperlo solo dopo le elezioni. Ah, e la Brexit probabilmente non c’entra tantissimo. Fine parentesi.

Detto tutto questo, ho trovato un articoletto interessante su Vox che segnala un problema causato dagli aggregatori al quale non avevo mai pensato, ma che è ben noto alla scienza economica – nel quale è noto come la tragedia dei beni comuni, sempre allegri i nomi usati dalla scienza grama – e che mi è sembrato molto interessante, così l’ho tradotto. Il video riportato alla fine corredava anche l’articolo originale.

Gli aggregatori di sondaggi stanno sterminando i sondaggi

Una tragedia dei beni comuni

di Matthew Yglesias, 2 novembre 2016

Ci sono momenti nei quali sembra che siamo bombardati dai risultati dei sondaggi, ma una realtà poco rilevata della campagna elettorale del 2016 è che in realtà noi abbiamo molti meno sondaggi sul campo di quanti erano abituali in precedenza.

Nel ciclo elettorale del 2016 questo è stato particolarmente vero in un mazzetto di stati che sono tendenzialmente più azzurri della media nazionale [i blu sono i democratici, i rossi i repubblicani, NdRufus], in particolare Colorado e Wisconsin, più, in maniera meno netta, gli altri stati dei Grandi Laghi. Poiché questi stati hanno votato entrambe le volte per Obama e poiché Clinton è stata in vantaggio in praticamente tutte le rilevazioni su scala nazionale è facile fare l’errore mentale di inserirli in maniera automatica nella colonna democratica. Ma in una elezione nazionale combattuta questi dovrebbero essere stati contesi e si dovrebbe voler vedere i dati reali. Invece non abbiamo avuto granché.

Un motivo è che i sondaggi stanno diventando più difficili da condurre. Meno persone rispondono al telefono e parlano ai rilevatori, quindi c’è bisogno dif are più chiamate per avere un campione decente. Più chiamate costano di più, quindi la tendenza è fare meno sondaggi.

Ma l’altro problema è che la tendenza in favore degli aggregatori di sondaggi – che usino modelli statistici come FiveThirtyEight e Upshot o semplici medie come RealClearPolitics o Huffington Post Pollster – ha creato un serio problema sul genere della tragedia dei beni comuni.

Nel medioevo del, diciamo, 2004, l’usanza era che gli articoli del New York Times avrebbero citato esclusivamente i sondaggi del New York Times mentre il Washington Post avrebbe citato esclusivamente sondaggi del Washington Post. Per dividere i costi normalmente un organo di stampa si associava con una emittente (NBC/WSJ, NYT/CBS) ma l’idea restava quella di ottenere una informazione statistica di tipo proprietario. A loro volta i giornali e le stazioni televisive locali avrebbero fatto la stessa cosa per le rilevazioni a livello di stato e le società di ricerca demoscopica avrebbero condotto dei sondaggi come manovra per attrarre clienti e sponsorizzare i propri servizi commerciali.

Un certo numero di persone intelligenti compresero che si può in realtà ottenere un quadro moltio più accurato della competizione aggregando insieme i sondaggi in modo che le metodologie individuali o gli errori di rilevazione si compensassero. Aggiungiamo il modo col quale la rete ha abbattuto le barriere fra differenti organi di comunicazione e otteniamo l’età d’oro dell’aggegazione dei sondaggi del 2008 e del 2012. Il problema, come previde Henry Farrell quattro anni fa, una volta che il prestigio e l’attenzione si sposta sugli aggregatori, questo mina la motivazione economica del condurre singoli sondaggi. Perché sopportare il costo per condurre un sondaggio per scoprire se Clinton è in vantaggio di sei punti nel Wisconsin o solo di due se finirai per essere solo un altro elemento individuale nel modello largamente diffuso di qualcun altro?

Si tratta di un fatto particolarmente importante in quanto la stessa tendenza calante a rispondere ai sondaggi che li rende più costosi sta anche suscitando una serie di dibattiti metodologici riguardanti il fatto che i sondaggisti dovrebbero trovare un modo migliore di condurre le loro ricerche. Idealmente ciò che si dovrebbe desiderare di vedere in tempi difficili è un aumento del livello di investimenti nella ricerca demoscopica così che possano essere sperimentati nuovi metodi. Al contrario stiamo assistendo una ritirata generale dal campo che sembra possa solo intensificarsi, significando che ci sono discrete probabilità che uno di questi giorni possiamo assistere al fatto che i sondaggi sbagliano radicalmente una previsione elettorale.