L'ospedale piccolo e la vostra campagna di ieri

Nel 1974 Kahneman e Tversky sottoposero a un gruppo di persone una domanda che sembra banale. In una città ci sono due ospedali. In quello grande nascono circa 45 bambini al giorno, in quello piccolo circa 15. Sappiamo che il 50% dei neonati sono maschi, ma la percentuale esatta varia da un giorno all’altro. Per un anno, ciascun ospedale ha registrato i giorni in cui più del 60% dei nati era maschio. Quale ospedale ne ha registrati di più?

La maggioranza rispose “circa lo stesso numero”. La risposta corretta è l’ospedale piccolo, e non di poco: circa il triplo dei giorni. La percentuale attesa è identica nei due ospedali — è il 50% per costruzione — ma la varianza non lo è affatto. Con quindici nascite al giorno bastano dieci maschi per superare la soglia; con quarantacinque ne servono ventotto, e la legge dei grandi numeri lavora contro gli estremi.

Fin qui è un aneddoto da manuale, il tipo di cosa che si legge annuendo e si archivia come capita. Il problema è che l’ospedale piccolo è nella vostra dashboard, adesso, e ha un nome più rassicurante: si chiama “segmento emergente”, oppure “canale in crescita”, oppure “la creatività che sta andando forte”.

Il campione più piccolo vince sempre la classifica

Prendete una lettura di performance qualunque, per canale. Sette canali, un mese di dati, ordinati per tasso di conversione. Chi arriva primo?

La newsletter partner è prima con un margine che sembra schiacciante: 5,8% contro il 3,6% della ricerca a pagamento, cioè il 61% in più. In una riunione questo diventa “spostiamo budget sulla newsletter partner”. Ma quattordici conversioni su duecentoquaranta utenti hanno un errore standard di un punto e mezzo: due conversioni in più o in meno — due persone — muovono il tasso di quasi un punto percentuale. L’intervallo di confidenza al 95% va da circa il 2,8% all’8,8%. Sovrappone quello della ricerca a pagamento per intero.

Il canale non è il migliore. È il più piccolo. Sono due proprietà diverse che nel formato “classifica ordinata per tasso” diventano indistinguibili, perché la tabella ordina per stima puntuale e la stima puntuale di un campione piccolo è rumore con un decimale.^[1]

Perché si ripresenta ogni mese

C’è un meccanismo che rende questo errore non solo frequente ma ciclico. Il canale piccolo che questo mese sta in cima, il mese prossimo tornerà verso la media — non perché qualcosa si sia rotto, ma perché la regressione verso la media è ciò che fa il rumore. A quel punto succede una delle due cose peggiori.

Se nel frattempo avete spostato budget su quel canale, la sua discesa verrà attribuita alla saturazione, all’audience esaurita, al deterioramento creativo: tutte spiegazioni causali plausibili per un fenomeno che non richiede nessuna causa. Se invece non avete fatto niente, un altro canale piccolo sarà salito in cima, e la classifica avrà un nuovo vincitore da spiegare. In entrambi i casi l’organizzazione impara qualcosa di falso e lo impara con convinzione crescente, perché ogni mese arriva una nuova conferma.

Le persone hanno un’intuizione statistica pessima e una capacità narrativa eccellente: la seconda copre i danni della prima.

Il costo non è il budget spostato su un canale mediocre — quello è recuperabile. Il costo è che il team ha ora una teoria del proprio mercato costruita su fluttuazioni casuali, e le teorie sono appiccicose. Nella mia esperienza da questo lato del tavolo, disinstallare una convinzione fondata su tre mesi di dati rumorosi richiede molto più di tre mesi di dati puliti.

Tre difese che costano poco

Non servono strumenti nuovi. Servono tre abitudini, tutte fastidiose, tutte economiche.

Primo: nessun tasso senza denominatore, nessuna classifica senza intervallo. Se una tabella mostra una percentuale, deve mostrare accanto la numerosità e una misura di incertezza. È una modifica di venti minuti al vostro foglio di calcolo e cambia quello che le persone vedono prima ancora di quello che pensano. Chi guarda un 5,8% ± 3,0 non propone di spostare il budget.

Secondo: soglia minima di volume per entrare in classifica. Decisa in anticipo, non caso per caso. Sotto quella soglia il canale esiste, si finanzia, si osserva — ma non compete nella graduatoria e non genera decisioni. La soglia si calcola: fissate la differenza $\delta$ che vi interesserebbe davvero rilevare e ricavate la numerosità che serve per distinguerla dal rumore,

$$n \;\approx\; \frac{2\,\bigl(z_{1-\alpha/2} + z_{1-\beta}\bigr)^{2}\; p\,(1-p)}{\delta^{2}}$$

che con $p = 0{,}035$, $\delta = 0{,}01$ e i valori convenzionali di $\alpha$ e $\beta$ dà qualche migliaio di utenti per gruppo. Non duecentoquaranta.

Terzo: la domanda “quanto sarebbe estremo per caso?” prima della domanda “perché è estremo?”. Una simulazione banale — mille ripetizioni con lo stesso tasso base e le stesse numerosità — vi dice quanto spesso il canale più piccolo finisce in cima per pura fortuna. La risposta, nella maggior parte dei mix reali, è: quasi sempre.

Nessuna delle tre richiede di saper fare inferenza causale. Sono igiene, non metodo. Ma hanno una proprietà utile: spostano il momento del dubbio prima della riunione, quando l’unica cosa in gioco è un numero, e non dopo, quando in gioco c’è la faccia di qualcuno.

L’osservazione scomoda

Kahneman e Tversky notarono che i loro soggetti sbagliavano anche quando erano psicologi con formazione statistica. Il bias non risiede nella mancanza di conoscenze: risiede nel fatto che l’intuizione arriva prima del calcolo e si presenta con la stessa sensazione di ovvietà. Questo esperimento lo conosco da quindici anni, e ogni volta che guardo una classifica per tasso di conversione sento, per un istante, che il primo canale sia il migliore.

La differenza non la fa sapere. La fa aver messo la colonna dell’incertezza accanto a quella del tasso, mesi prima, quando nessuno stava decidendo niente.

---

1. È la stessa struttura del celebre risultato sulle scuole più piccole: negli anni Novanta diverse fondazioni americane finanziarono la riduzione delle dimensioni delle scuole perché le scuole con i risultati migliori erano piccole. Erano piccole anche quelle con i risultati peggiori. ↩︎