Legge dei piccoli numeri

Kahneman e Tversky chiamarono così la tendenza a estendere ai campioni piccoli l’intuizione che vale per quelli grandi: che la media osservata somigli a quella vera. La media, in effetti, non cambia — cambia la varianza, e cambia in modo che quasi nessuno stima correttamente a mente.

Per una proporzione, l’errore standard è

$$\mathrm{SE} = \sqrt{\frac{p(1-p)}{n}}$$

cioè scende come $1/\sqrt{n}$: per dimezzare l’incertezza serve un campione quattro volte più grande. Il corollario è che i valori estremi — i migliori e i peggiori — vengono quasi sempre dai gruppi piccoli, non perché lì si faccia qualcosa di speciale, ma perché lì il rumore è più largo.

Nel marketing si presenta ogni volta che si ordina una tabella per tasso di conversione. Il canale in cima alla classifica è tipicamente il canale con meno utenti, e il mese dopo scenderà per Regressione verso la media — un movimento che non richiede nessuna spiegazione causale, e che ne riceve sempre una.

La difesa non è statistica avanzata: è mostrare la numerosità accanto a ogni percentuale e fissare in anticipo una soglia minima di volume per entrare in classifica.