Teorema di Bayes

In questo appunto introduciamo uno dei teoremi più interessanti della teoria della probabilità sia per il suo enunciato che per gli effetti nell’interpretazione stessa del concetto di probabilità: il teorema di Bayes. Per comprendere al meglio quanto qui verrà riportato ti consigliamo di avere bene in mente i concetti di probabilità condizionata e probabilità composta. Su meetheskilled puoi trovare tali concetti al seguente link.

 

Di seguito vedremo:

• In quali situazioni è utile usare il teorema di Bayes
• Derivazione matematica del teorema di Bayes
• Esempi
• Statistica bayesana

Quando utilizzare il teorema di Bayes

Il teorema di Bayes è un teorema della teoria della probabilità proposto da Thomas Bayes e pubblicato dopo la sua morte nel 1763. Dimostreremo il teorema nel seguito di questo appunto. Lo scopo di questo paragrafo è quello di consentire una giusta interpretazione logica del teorema di Bayes mostrando il tipo di situazioni in cui esso può essere utilizzato. In breve esso consente di calcolare la probabilità che una causa abbia scatenato un determinato effetto. Per chi si avvicina al teorema per la prima volta sottolineiamo subito, per una corretta comprensione, la differenza con il teorema della probabilità composta e della probabilità condizionata. Per farlo, consideriamo due eventi A e B i teoremi elencati rispondono a domande differenti:

• Qual è la probabilità che i due eventi si verifichino contemporaneamente ? A tale domanda risponde il teorema della probabilità composta attraverso la formula:

• Sapendo che l’evento B sia verificato, qual è la probabilità che si verifichi l’evento A? A tale domanda risponde il teorema della probabilità condizionata:

A quale tipo di domanda risponde invece il teorema di Bayes? Immaginiamo un fenomeno A che possa dar luogo a N eventi mutuamente esclusivi Aj ognuno con probabilità p(Aj) di manifestarsi. Ciò significa che se si verifica l’evento A₁, nessuno degli altri N-1 eventi può simultaneamente verificarsi e che la somma di tutti i p(Aj) è pari a 1. Contestualmente al fenomeno A, esiste un secondo evento B che può o non può verificarsi. Il teorema di Bayes consente di calcolare la probabilità che l’evento B si sia verificato in seguito a uno degli eventi Aj. Possiamo rappresentare graficamente quanto detto in questo modo:

 

Facciamo un esempio pratico. Consideriamo due squadre X e Y a pari punti in classifica prima dell’ultima giornata di campionato. Sappiamo che la squadra X dopo i risultati dell’ultima giornata ha vinto il campionato, ma non sappiamo i risultati delle partite finali due squadre. Il fenomeno A potrebbe essere in questo caso: “risultato dell’ultima partita di X” ed è caratterizzato dai seguenti possibili eventi:

• A1: “X ha vinto la partita”
• A2: “X ha pareggiato la partita”
• A3: “X ha perso la partita”

L’evento B è invece: “X ha vinto il campionato”. Ci chiediamo a questo punto quale sia la probabilità che la squadra X abbia vinto il campionato pur avendo perso l’ultima partita. Il teorema di Bayes ci consente di rispondere a questa domanda.

L’esempio qui proposto non è un esempio classico del teorema di Bayes ma spiega bene il tipo di domanda alla quale il teorema risponde. Si dice che il teorema di Bayes consenta di calcolare la probabilità a posteriori che una causa abbia realizzato un effetto conoscendo la probabilità a priori che quella causa si manifesti.

Vedremo nel seguito alcuni esempi classicamente proposti.

Derivazione del teorema di Bayes

Consideriamo nuovamente la figura del paragrafo precedente con il fenomeno A e tutti i possibili N eventi mutuamente esclusivi che da esso possono scaturire. Indicheremo ancora il j-simo evento con Aj e con p(Aj) la probabilità che esso si manifesti. Consideriamo ancora un secondo evento B con una probabilità p(B) di verificarsi. Poiché ognuno degli eventi Aj ha una probabilità di manifestarsi con l’evento B, la probabilità dell’evento B, per il teorema della probabilità assoluta, è data dalla somma delle probabilità composte dell’evento B con tutti gli eventi Aj del fenomeno A:

Applicando la legge della probabilità composta, esplicitiamo la sommatoria:

Adesso per ciascun evento Ai possiamo utilizzare la relazione simmetrica:

 

da cui ricaviamo:

quest’ultima equazione è il teorema di Bayes. Possiamo riscrivere l’equazione sostituendo a p(B) la sua forma in termini di sommatoria delle probabilità composte:

Il teorema di Bayes consente quindi di determinare a posteriori, la probabilità che una specifica causa Ai abbia determinato un effetto B conoscendo a priori la probabilità che si verifichi la causa stessa Ai e la probabilità che si verifichi l’effetto B quando è presenta la causa Ai. In breve

Attenzione ad interpretare correttamente la differenza tra la probabilità della causa dato l’effetto con la probabilità dell’effetto data la causa. Consideriamo l’esempio del paragrafo precedente con la causa A1 = X vince l’ultima partita e l’effetto B= X vince lo scudetto. La probabilità dell’effetto data la causa è la probabilità che X vinca il campionato quando X ha vinto l’ultima partita. Tale probabilità e pari a 1. La probabilità della causa data l’effetto è la probabilità che sia stata la vittoria dell’ultima partita di X a determinare la vittoria del campionato. Tale probabilità è sicuramente minore di 1 in quanto X potrebbe aver vinto il campionato anche pareggiando o addirittura perdendo l’ultima partita.

Esempio 1 test diagnostici

Uno degli esempi da manuale più utilizzati per spiegare il teorema di Bayes è quello relativo ai test diagnostici utilizzati per verificare se un paziente sia affetto o no da una patologia. Sappiamo che i test diagnostici non sono accurati al 100% e possono dare anche degli esiti non corretti detti falsi positivi (test positivo ma il paziente è sano) o falsi negativi (test negativo ma il paziente è malato).

Consideriamo un test diagnostico utilizzato per una patologia presente sullo 0,5% della popolazione e avente una sensibilità del 95%. Ciò significa che il 95% delle persone positive sono correttamente rilevate dal test mentre la restante quota del 5% non è rilevata risultando in test falsamente negativi. Consideriamo anche che il test abbia una probabilità di fornire un test falso positivo del 7% (il test si dice avere una specificità del 93%). Adesso, date queste informazioni, qual è la probabilità che, eseguendo una campagna di screening sull’intera popolazione, un paziente che risulti positivo al test lo sia realmente? Si potrebbe erroneamente pensare che la risposta a questa domanda sia il 95% confondendo la sensibilità del test diagnostico con la probabilità che il paziente sia realmente positivo. Non è così e vediamo di seguito il perché. Ricapitoliamo i dati del quesito:

Fenomeno A: Un paziente esegue il test. Questo fenomeno è descritto da due possibili eventi. A1: il paziente è malato e A2: il paziente è sano. A priori sappiamo che lo 0,5% della popolazione è affetta dalla patologia di interesse. Per cui a priori sappiamo che p(A1) = 0,5%. Di contro p(A2)= 99,5%.

Evento B: Il test è positivo. La probabilità che il test sia positivo è data sia dai casi in cui il paziente è malato ed è rilevato come tale e sia dai casi falsi positivi.

Abbiamo quindi la seguente situazione:

Il quesito ci chiede di identificare p(A₁|B) che secondo il teorema di Bayes è dato da:

ciò significa che la probabilità che sia stata una persona realmente malata a generare un test positivo è solo del 6,38%. Nella restante parte dei casi abbiamo una elevata quantità di falsi positivi. Sottolineiamo ancora una volta che il ragionamento è stato eseguito nel caso di una campagna di screening eseguita sull’intera popolazione. Quando si esegue un test per una particolare patologia, lo si fa a seguito di una sintomatologia restringendo la popolazione di riferimento ai soli malati sintomatici. In questa nuova popolazione la percentuale di positivi sarà sicuramente maggiore dello 0,05% aumentando così la probabilità p(A₁|B) che una persona sia realmente malata. La conoscenza del teorema di Bayes risulta quindi fondamentale per interpretare correttamente il risultato del test.

Esempio 2 Monty Hall

Il secondo esempio che proponiamo è il famosissimo problema di Monty Hall. Si tratta di un quiz probabilistico diventato famoso nel 1990 a seguito della risposta da parte della giornalista Marylin Vos Savant ad un lettore che le aveva proposto il quesito. La risposta della giornalista, basata sul teorema di Bayes, non era infatti stata considerata giusta da diversi accademici finché questa non spiegò la sua risoluzione in un successivo articolo.

Basato sul quiz televisivo Let’s Make a Deal condotto da Mont Hill, il problema proposto alla Vos Savant dice:

“Si supponga di partecipare a un gioco a premi in cui si deve scegliere tra tre porte. Il conduttore dichiara che dietro una di esse c’è un’automobile mentre dietro le altre due ci sono due capre. Il conduttore conosce il posizionamento dei premi dietro le porte ed invita il partecipante a scegliere una delle tre porte. Si supponga il concorrente scelga la porta numero 1. Il conduttore a questo punto apre una delle altre due porte rimanenti, supponiamo la 3, mostrando una capra. A questo punto il conduttore chiede al concorrente se vuole cambiare la scelta originale sostituendo la porta 1 con la porta 2. Conviene effettuare questa scelta?”

Intuitivamente si potrebbe pensare che la scelta tra la porta 1 e la porta 2 sia assolutamente equiprobabile, con una probabilità di indovinare la porta con l’automobile pari al 50%. La risposta è sbagliata. Infatti, così facendo non si stanno considerando le informazioni conosciute a priori. Il conduttore infatti sceglie la porta numero tre in quanto sa cosa c’è dietro ciascuna porta. Questa informazione ha un impatto sul calcolo probabilistico. Proviamo a fare un po’ di chiarezza con una tabella semplificativa che mostra tutte le possibili combinazioni degli eventi (supponiamo che il concorrente scelga sempre la porta 1):

All’inizio per il concorrente l’automobile può essere dietro ciascuna delle tre porte con una probabilità pari a 1/3 per ciascuna porta. Queste sono le probabilità conosciute a priori. Consideriamo come fenomeno A il posizionamento di un oggetto dietro la porta 1 scelta dal concorrente. A questo fenomeno corrisponderanno 2 eventi:

• Evento A₁: auto dietro porta 1
• Evento A₂: capra dietro porta 1

A sua volta l’evento A₂ può essere suddiviso nei seguenti eventi:

• Evento C₁: auto dietro porta 2
• Evento C₂: auto dietro porta 3

L’effetto B che qui vogliamo considerare è l’apertura di una delle porte (2 o 3) da parte del conduttore in seguito alla scelta della porta 1 da parte del concorrente:

• B1: il conduttore apre porta 2
• B2: il conduttore apre porta 3

In seguito alla scelta della porta 1 da parte del concorrente abbiamo la seguente situazione:

La tabella esprime le relazioni cause/effetto tra le possibili cause (presenza dell’auto dietro le 3 porte) e l’effetto il conduttore apre una delle altre due porte (porta 2 e porta 3). Proviamo ad applicare il teorema di Bayes calcolando la probabilità che sia stata la causa “auto dietro la porta 1” a produrre l’effetto “conduttore apre la porta 3”:

Applichiamo nuovamente il teorema di Bayes calcolando la probabilità che sia stata la causa “auto dietro la porta 2 “ a produrre l’effetto “conduttore apre la porta 3”.

Come si può vedere, la probabilità che sia stata la causa “auto dietro la porta 2” è maggiore della probabilità che sia stata la causa “auto dietro la porta 1” a produrre l’effetto conduttore apre la porta 3. Di conseguenza al concorrente conviene sempre cambiare la porta. Ti consigliamo di provare questa simulazione per verificare la veridicità di quanto detto: http://www.shodor.org/interactivate/activities/SimpleMontyHall/

Esempio 3: campionato

L’ultimo esempio che proponiamo è quello riportato nel primo paragrafo di questo appunto. Consideriamo due squadre X e Y a pari punti in classifica prima dell’ultima giornata di campionato con X leggermente in vantaggio per aver vinto gli scontri diretti con Y. Sappiamo che la squadra X dopo i risultati dell’ultima giornata ha vinto il campionato, ma non sappiamo i risultati delle due squadre. Il fenomeno A potrebbe essere in questo caso: “risultato dell’ultima partita di X” ed è caratterizzato dai seguenti possibili eventi:

• A1: “X ha vinto la partita”
• A2: “X ha pareggiato la partita”
• A3: “X ha perso la partita”

L’evento B è invece: “X ha vinto il campionato”. Ci chiediamo a questo punto quale sia la probabilità che la squadra X abbia vinto il campionato pur avendo perso l’ultima partita. Dalle nostre conoscenze circa l’andamento del campionato, e la difficoltà dell’ultimo impegno in campionato delle squadre X e Y, associamo le seguenti probabilità a priori:

P(A1) =1/2, P(A2) = 3/8, P (A3)= 1/8

facciamo lo stesso per la squadra Y utilizzando la lettera C per indicare i medesimi eventi:

p(C1) = 2/3, P(C2) = 1/6, P(C3) = 1/6

Riproponiamo adesso la stessa tabella cause effetti, proposta negli esempi precedenti:

Applichiamo quindi il teorema di Bayes per calcolare quale sia la probabilità che X abbia vinto il campionato ipotizzando che la causa sia stata una sconfitta di X:

Statistica Bayesana

La conseguenza più importante del teorema di Bayes è la sua interpretazione in quella che è definita statistica Bayesana. Si tratta di un tipo di statistica che si differenzia da quella classica frequentista nell’interpretazione stessa del concetto di probabilità.

Ricordiamo che nel caso classico frequentista, la probabilità che un evento si manifesti è data dal rapporto del numero di successi sulle n prove eseguite per n che tende ad infinito. Questa interpretazione è un’interpretazione oggettiva della probabilità che si basa sulla semplice osservazione del fenomeno e sulla raccolta dei dati relativi al fenomeno stesso. L’interpretazione e le predizioni di un fenomeno sono quindi eseguite con il solo studio dei dati raccolti. Nel caso dell’esempio relativo al test diagnostico ad esempio, la probabilità P(A1|B) è considerata nel caso frequentista come il rapporto degli eventi in cui un paziente effettivamente malato ha causato un risultato positivo diviso tutti gli eventi che hanno dato esito positivo.

Nel caso bayesiano invece, si ha un’interpretazione più soggettiva della probabilità che un fenomeno si manifesti in quanto essa considera anche gli aspetti soggettivi di conoscenza del problema. Infatti in questo caso si utilizza la conoscenza passata su simili eventi (conoscenza a priori) e si aggiorna tale conoscenza con i risultati attuali per dare delle conclusioni (conoscenza a posteriori). Con questo approccio il teorema di Bayes consente di eseguire stime su aspetti non direttamente osservabili sfruttando le conoscenze pregresse su tali aspetti. Ad esempio, nel terzo esempio, non è possibile applicare un approccio frequentista in quanto non è possibile far giocare N volte le ultime due partite di X e di Y per calcolare la probabilità che una sconfitta di X dia luogo ad una vittoria del campionato.

Sebbene storicamente l’approccio frequentista è stato sempre il più utilizzato grazie alla sua oggettività nel descrivere un fenomeno, recentemente il numero di applicazioni della statistica bayesiana è in forte aumento grazie ad applicazioni in algoritmi di machine learning e per la stima di aspetti come detto non direttamente osservabili.