Quest'anno per via delle elezioni statunitensi avremo il solito esilarante martellamento di sondaggi. Che di per sè sono uno strumento politico molto efficiente, ma che vengono utilizzati e presentati in maniera a dir poco non professionale.
Da queste parti (e più-e-più volte su Macchianera) se ne è parlato spesso. Per cui, prima di iniziare la tornata che ci porterà al nuovo presidente USA (nella foto a lato, insieme al giovane vice-presidente), riassumiamo il decalogo del perfetto statistico:
1. Il sondaggio si basa su delle risposte non vincolanti fatte ad un operatore telefonico (se poi è sul web, ancora peggio); niente assicura che chi vada a votare poi si comporti nello stesso modo.
2. Un sondaggio analizza un campione di persone, tipicamente molto basso. Tipo un migliaio, ma spesso molto meno; su una base di votanti che va dalle decine/centinaia di migliaia (per le primarie) ai milioni (per le elezioni).
3. Il suo risultato ha un certo margine di errore, che va capito molto bene. In realtà, se su 1000 persone 550 mi dicono che votano Hillary, il risultato del sondaggio non sarà che lei è al 55% con margine di errore del 4% (la forchetta). No, il risultato del sondaggio è il seguente: facendo le 1000 telefonate un sacco di volte, i risultati si distribuiscono in un modo tale che valore medio delle preferenze sarebbe del 55%, e che il 95% dei sondaggi sia contenuto fra 51% e 59%.
Ragionando in termini veritieri, c'è una possibilità non nulla che prenda solo quei 550 voti e che il resto voti per il Rudy.
4. Questi risultati poi vengono pesati in modo molto arbitrario. Infatti nei sondaggi, e più o meno è capitato a tutti di farne o subirne uno, vengono chieste un sacco di informazioni supplementari: che hai votato alle ultime elezioni, vai in chiesa la domenica, sei battista etc. Questo perchè gli istituti di ricerca demoscopica hanno dei loro modelli che danno più o meno peso a certi comportamenti. Essere battista e conservatore vuol dire un certo tipo di destra. Allora devo stare attento che se 990 telefonate mi dicono che voteranno Hucka e che sono battista, allora mi sa che sto telefonando solo a dei conservatori.
5. Il fatto che 10 sondaggi dicano tutti che una persona vinca, NON VUOL DIRE NULLA. C'è un modo di dire tra scienziati che pressappoco fa così: l'accordo tra scienziati NON è scienza. Ecco, un singolo sondaggio, interpretato correttamente, ha un suo valore scientifico. Dieci sondaggi raggruppati no. E come voler dire dopo aver lanciato 10 volte una moneta in aria ed aver ottenuto sempre testa, vuol dire che uscirà comunque testa.
6. Una variante all'aggregazione dei sondaggi è la loro disposizione temporale, in forma di tabella o ancor peggio di grafico. Ora, se gli istituti sono seri, e di questo non si dubita, i campioni di persone da intervistare sono scelti in modo casuale e rappresentativo della popolazione. Per cui non c'è correlazione tra le persone intervistate oggi e quelle intervistate ieri. Insomma, la tabella o il grafico NON HA ALCUN VALORE.
Per concludere, l'articolo del Corriere che riprendeva un analisi del Mundo, è completamente toppato. Se non ci credete, guardate quello che è successo in Iowa tra i sondaggi e i risultati.
Come nei casi recenti successi in Germania e in Italia, dopo il voto il giornalista medio parla di "sorpresa alle elezioni"; in realtà prima delle elezioni sbagliava. E la sopresa è scoprire che sì, ha sbagliato.
Monday, January 07, 2008
2008, anno di sondaggi
Subscribe to:
Post Comments (Atom)

5 comments:
Sono quasi del tutto d'accordo con te, Carletto, come ebbi già modo di scrivere tempo fa sul mio blog. Pero' ci sono un paio di punti di questo decalogo che, da statistico, vorrei commentare.
Di fondo c'è che in Italia i sondaggi sono molto spesso rilevazioni non campionarie (a riguardo su Lavoce.it c'e' un bell'articolo http://www.lavoce.info/articoli/pagina2010.html ).
Questo perché la legge che regola i sondaggi politico elettorali lo consente. Negli Stati Uniti non e' cosi', l'AAPOR, l'associazione che raggruppa gli operatori del settore, ha posto criteri più stringenti tra cui c'è la replicabilità.
E su un sondaggio non campionario, come molti di quelli che vediamo in Italia, e' del tutto fasullo indicare il margine di errore in termini fiduciari.
Non sono poi affatto d'accordo sul problema della comparazione temporale dei sondaggi.
Ammettendo che essi siano fatti secondo rigidi criteri probabilistici per quale motivo sarebbe privo di valore raffrontarli temporalmente?
Sono forse privi di valore gli studi sulle dinamiche dei prezzi o della forza lavoro che elabora l'ISTAT quando raffronta temporalmente i risultati delle sue indagini campionarie?
E sbaglia anche Pollster.com, che, guarda caso, sulle primarie nello Iowa ci era andato abbastanza vicino proprio raggruppando i sondaggi e studiandone l'andamento temporale secondo due diverse metodologie statistiche?
ooopps... tre diverse metodologie statistiche.
Ne approfitto per segnalarti che sul mio blog ho postato il mio commento con i links che qui non riesco a mettere.
http://cronosisma.splinder.com/post/15413797/Risposta+a+Darwin
Forse mi sono spiegato male, ma non ha senso raffrontarle come dei punti. Perchè in realtà quando vedi l'andamento temporale, dovresti considerare anche le code della gaussiana. E lì sta la maggior parte dell'informazione nell'analisi temporale.
Ti faccio un esempio: mettiamo che per Hillary in dicembre hai una gaussiana centrata su 31,5% con una forchetta del 95% della gaussiana di +-10%. Se questa a Gennaio diventa 29,5 +-7%, praticamente non c'è stata alcuna modifica del dato statistico, mentre sembra che lei ha perso due punti percentuali.
Beh certo con quei margini di errore mi chiederei prima chi è il filantropo che sovvenziona l'istituto di ricerca. Ti faccio allora un controesempio a mio parere più realistico
1mo Sondaggio Hillary 31.5%+-3%
2ndo sondaggio Hillary 30.0%+-3%
Se qualcuno concludesse che il sondaggio mette in luce un possibile lieve calo tu gli daresti torto?
Post perfetto!
Mi fa pensare alla storia del fisico che protesta con il chimico contestandogli di non mettere mai l'errore statistico sulle sue misure. E quello gli risponde "quali errori? io non faccio errori".
Peccato solo per il supporto a Hillary...
Post a Comment