Si immagini una linea produttiva che può generare un difetto su un componente e che è storicamente lamentato dai clienti con una frequenza del 0,15%. Da un mercato in particolare in un determinato periodo il componente è lamentato con una frequenza dello 0,35% su 2000 componenti. A questo punto è normale chiedersi se non sia successo qualcosa di particolare ai componenti di quel particolare mercato. C’è stata una deriva? Oppure la casualità degli eventi può consentire delle oscillazioni dal valore atteso di 0,15 % al valore osservato di 0,35%.

Una risposta a questa tipologia di domande è fornita dal test delle proporzioni. Il test delle proporzioni è un particolare test di ipotesi che si applica quando si ha a che fare con variabili categoriche dicotome, ovvero caratterizzate da due possibili valori: Go/No Go; Testa/Croce; Difettoso/ Non difettoso.

Vediamo in questo appunto in cosa consiste il test delle proporzioni nel caso in cui si vuole confrontare un campione con un risultato atteso e/o teorico. Non richiameremo le basi del test di ipotesi che invece troverete al seguente link. Ci limiteremo ad indicare le modalità con cui è possibile eseguire il test delle proporzioni a seconda dei casi che ci si possono presentare.

Distribuzioni di probabilità da utilizzare nel test delle proporzioni

Vediamo in questo paragrafo quali sono le distribuzioni che meglio consentono di eseguire il test delle proporzioni a seconda dei casi che si possono presentare.

In generale la distribuzione che meglio descrive l’andamento di variabili dicotome è la distribuzione binomiale.  Tuttavia non sempre l’utilizzo di tale distribuzione risulta una scelta oculata in termini di sforzo di calcolo. All’aumentare di n infatti (numero di prove o di componenti totali), diventa sempre più difficile il calcolo del suo fattoriale (essenziale per ottenere il coefficiente binomiale). Excel ad esempio non fornisce il fattoriale per numeri superiori a 170.

Ricordiamo però che se n supera il valore di 50, e la probabilità p che si verifichi un evento è prossima a 0,5 la distribuzione binomiale può essere approssima con una distribuzione normale. Vedremo infatti come uno z-test può semplificare di molto i calcoli durante un test delle proporzioni.

Se invece p è molto piccolo (minore di 0,1) si ha a che fare con eventi caratterizzati da una probabilità di accadimento molto bassa (eventi “rari”). In questi casi, se n è molto grande la distribuzione binomiale può essere rimpiazzata dalla distribuzione di Poisson.

In realtà, la distribuzione di Poisson è consigliabile anche nel caso in cui l’informazione posseduta è espressa in termini di eventi medi (ad esempio “1,7 casi medi su 100 componenti”). Quest’ultima affermazione allarga enormemente il campo di applicazione della distribuzione di Poisson rispetto alla binomiale o alla normale.

test delle proporzioni: flowchart

Vediamo nei prossimi paragrafi degli esempi di applicazione delle varie distribuzioni nel test delle proporzioni.

Caso 1: Distribuzione binomiale: n ≤ 50

La distribuzione binomiale è utilizzata quando il dato da confrontare non è un dato “medio” ma puntuale e il numero degli eventi è minore di 50. L’esempio migliore è il caso in cui si vuole testare se una moneta è sbilanciata rispetto ad una delle due facce. Eseguendo 40 lanci di una moneta perfettamente bilanciata ci si aspetta che il numero di lanci con esito “testa” ed il numero di lanci con esito “croce” sia prossimo a 20 ciascuno in quanto la probabilità che si verifichi l’uno o l’altro evento è pari a 0,5.

Si eseguono 40 lanci con una moneta “sospetta” e di verificano 30 casi in cui il lancio risulta nell’esito “testa” e 10 in cui il lancio risulta nell’esito “croce”.

La domanda da porsi è quindi: “la moneta è sbilanciata rispetto alla faccia testa”?

Valutiamolo con il test dell’ipotesi.

Ipotesi:
  • H0: la moneta non è sbilanciata e la probabilità che si verifichi uno dei due risultati è q=qteorico = 0,5
  • H1: la moneta è sbilanciata rispetto alla faccia “testa” e la probabilità che si verifichi l’esito croce è q< 0,5
  • Livello di significatività scelto per il test dell’ipotesi è α =0,05

Mediante l’utilizzo della probabilità binomiale possiamo ricavarci la probabilità che un certo numero di eventi “croce” si verifichi su 40 lanci nel caso di una moneta bilanciata (per la formula della distribuzione binomiale ti rimandiamo qui):

 tabella distribuzione binomiale

La probabilità che possano verificarsi 10 eventi su 40 è veramente molto bassa (0,00077). Ce ne rendiamo conto visualizzando i dati sopra riportati in grafico:

test delle proporzioni: probabilità binomiale

A 10 corrisponde l’inizio della coda della distribuzione. Ma questa osservazione è sufficiente a rigettare l’ipotesi? In realtà no. Ricordiamo che per confutare l’ipotesi dobbiamo calcolare la probabilità che si verifichino eventi più estremi rispetto a quello osservato e confrontare tale risultato con il livello di confidenza scelto. Ciò vuol dire calcolare la probabilità che si verifichino 9  o meno esiti “croce”.

In particolare:

P(k<10) = 0,00034

dove k rappresenta il numero di eventi croce. Tale valore rappresenta il p-value della nostra statistica. Poiché il livello di confidenza scelto è del 95%, il livello di significatività del test è 0,05. Il p-value calcolato è molto minore di tale valore, per cui l’ipotesi H0 è rigettata in favore dell’ipotesi H1.

Caso 2: Distribuzione normale: n > 50 e p intorno 0,5

Per semplicità consideriamo la stessa situazione di prima con un numero molto maggiore di lanci. Vogliamo verificare il bilanciamento della moneta dopo aver eseguito 2000 lanci ed aver avuto 970 esiti “croce”.

Il test dell’ipotesi rimane invariato:

  • H0: la moneta non è sbilanciata e la probabilità che si verifichi uno dei due risultati è q=qteorico = 0,5
  • H1: la moneta è sbilanciata rispetto alla faccia “testa” e la probabilità che si verifichi l’esito croce è q< 0,5
  • Livello di significatività del test è α = 0,05

Attenzione: normalmente è più familiare esprimere la probabilità binomiale con la lettera p in vece della q. Non lo facciamo per evitare di confondere tale lettera con il p-value che calcoleremo.

Ciò che cambia è la distribuzione scelta per eseguire il test. Poiché infatti, per n elevati la distribuzione binomiale converge in una gaussiana con media nq e varianza nq(1-q), il test statistico utilizzato è lo z test.

Per utilizzare lo z test, la funzione gaussiana deve essere normalizzata ad una funzione gaussiana standard. Ciò avviene tramite la trasformazione:

statistica per Z test

Dove q è la probabilità teorica di realizzare l’evento. Indicando con q1 la probabilità osservata ad essa corrisponderà la posizione nell’asse delle ascisse definita dalla variabile Z0:

test delle proporzioni: z test per categorie

Calcoliamo il valore della variabile Z0 nel nostro caso sostituendo alla formula i dati del nostro problema. Si ottiene un valore pari a -1,34 a cui corrisponde da un consulto delle tavole Z un valore di p-value di 0,090 maggiore del livello di significatività del test. Ciò vuol dire che l’ipotesi H0 non è da rigettare.

Lo stesso test con l’utilizzo di una distribuzione binomiale avrebbe fornito un valore di 0,093 molto simile a quello ottenuto ma leggermente più alto.

L’utilizzo della distribuzione normale allora ha reso più severo il test rispetto all’ipotesi H0.

Caso 3: Distribuzione di Poisson: n > 50; p<0,1 o p espresso in termini di eventi medi

Quando si ha a che fare con grandi numeri e la probabilità che un evento accada è molto piccola (p<0,1), la distribuzione che meglio descrive l’andamento di eventi “rari” è la distribuzione di Poisson. Questa distribuzione deve essere anche usata in qualsiasi caso in cui la proporzione del campione non è confrontata con un valore teorico ma con un valore medio derivante da osservazioni passate.

Un esempio potrebbe essere quello riportato nel primo paragrafo di questo appunto e che qui riportiamo:

“Si immagini una linea produttiva che può generare un difetto su un componente e che è storicamente lamentato dai clienti con una frequenza del 0,15%. Da un mercato in particolare in un determinato periodo il componente è lamentato con una frequenza dello 0,35% su 2000 componenti. A questo punto è normale chiedersi se non sia successo qualcosa di particolare ai componenti di quel particolare mercato. C’è stata una deriva? Oppure la casualità degli eventi può consentire delle oscillazioni dal valore atteso di 0,15% al valore osservato di 0,35%.”

In che termini i dati sopra riportati sono utili nel calcolo della probabilità di Poisson? Ricordiamo la formula della distribuzione di Poisson:

distribuzione di Poisson

Dove r è la rate media di accadimento teorica mentre g è il numero di eventi/componenti. Nel nostro caso quindi r=0,15 mentre g=2000. Vogliamo verificare quale sia la probabilità che si verifichino n eventi che nel nostro caso sono dati da 0,35*2000. La distribuzione di Poisson del caso teorico con r =0,15 è data da:

test delle proporzioni: Poisson

Tale distribuzione ha un massimo in corrispondenza dei punti 2 e 3.

Vediamo le ipotesi nel nostro esempio

  • H0: le due rate di failure sono uguali tra di loro.
  • H1: La rate di failure del mercato in osservazione è maggiore di quella media
  • Livello di affidabilità scelto per il test dell’ipotesi è 0,05

Diversamente dai casi visti fino adesso, in questo caso occorre calcolare l’area della curva mostrata in figura sottesa nella coda verso destra della distribuzione. ciò vuol dire calcolare la probabilità che si verifichi un numero ancora maggiore di componenti difettosi rispetto al numero 7 (0,35*2000) del nostro esempio:

p-value = P(rg>7) = 0,0038

Poiché il p-value è minore del livello di affidabilità del test, allora è lecito pensare che la failure rate specifica di quel mercato sia più alta di quella attesa. H0 viene quindi rigettata.

 

Step 3 dati discreti: test delle proporzioni a un campione (test ipotesi)
Tag:                             
%d blogger hanno fatto clic su Mi Piace per questo: