una curiosità sulla statistica

[Planezio]

Un quiz sulla statistica che mi aveva incuriosito:
Un tale rientra dopo un lungo soggiorno in un paese dove c'è una malattia endemica che colpisce l'1% della popolazione.
Avendo paura, si sottopone ad un test che, gli dicono:
-Da' risposte giuste (od affidabili che dir si voglia) nel 90% dei casi.
Il test da' esito positivo. Quante sono le REALI probabilità che sia malato per davvero?
Gran parte delle persone cui ho sottoposto questo quesito hanno risposto:
-Ovviamente, il 90%......
Ma è proprio così?

[astromauh]

Planezio

Un quiz sulla statistica che mi aveva incuriosito:
Un tale rientra dopo un lungo soggiorno in un paese dove c'è una malattia endemica che colpisce l'1% della popolazione.
Avendo paura, si sottopone ad un test che, gli dicono:
-Da' risposte giuste (od affidabili che dir si voglia) nel 90% dei casi.
Il test da' esito positivo. Quante sono le REALI probabilità che sia malato per davvero?
Gran parte delle persone cui ho sottoposto questo quesito hanno risposto:
-Ovviamente, il 90%......
Ma è proprio così?

Secondo me la probabilità che abbia contratto il virus dovrebbe essere del 8.3(3)% .

Fatte le debite assunzioni, ossia tenendo conto che si tratta di un quiz e che non siamo nel mondo reale. Ad esempio, difficilmente un test clinico darebbe la stessa percentuale di errore quando trova dei falsi positivi e quando trova dei falsi negativi. Ed inoltre supponendo che siccome il tale ha soggiornato a lungo in quel paese abbia la stessa probabilità degli abitanti del luogo di aver contratto il virus a sua volta, cosa non vera.



PS

Ho modificato il risultato perché avevo invertito le probabilità.

[meta]

Planezio

Un quiz sulla statistica che mi aveva incuriosito:
Un tale rientra dopo un lungo soggiorno in un paese dove c'è una malattia endemica che colpisce l'1% della popolazione.
Avendo paura, si sottopone ad un test che, gli dicono:
-Da' risposte giuste (od affidabili che dir si voglia) nel 90% dei casi.
Il test da' esito positivo. Quante sono le REALI probabilità che sia malato per davvero?
Gran parte delle persone cui ho sottoposto questo quesito hanno risposto:
-Ovviamente, il 90%......
Ma è proprio così?

è un classico! la soluzione esplicita il criterio consolidato di tutti i buoni medici immemori di statistica (e non dovrebbero): fare ripetere gli esami quando il risultato è improbabile per altri motivi. in caso di esito dell'esame negativo, l'esame non verrebbe certo fatto ripetere, anche se il falso negativo avesse la stessa probabilità.


qua lo spiegano meglio di come sarei capace di fare io.
1b. Il caso del test diagnostico

La probabilità che un soggetto abbia una certa malattia è pari a 0,01 (1%).
La diagnosi della malattia è effettuata mediante un test clinico che ha le seguenti caratteristiche:
sensibilità = 0,80 (80% probabilità che un soggetto infetto risulti positivo al test);
specificità = 0,904 (90,4% probabilità che un soggetto sano risulti negativo al test).
1) Qual è la probabilità che un soggetto sia malato dato che è risultato positivo al test?
2) Qual è la probabilità che un soggetto sia malato dato che è risultato negativo al test?
Soluzione

Costruiamo il grafo della situazione.

Rispondiamo alla domanda 1)

Strano, vero?
Il test dice che uno è malato, ma la probabilità che sia veramente malato - dato il risultato del test - è minore del 10%.
Come si spiega?
Il test dà un falso positivo il 9,6% delle volte e il 99% delle persone sono sane.
Se mettiamo assieme l'alto numero di persone sane e l'abbastanza alta percentuale di falsi positivi, abbiamo come conseguenza una bassa probabilità che chi ha avuto un test positivo sia davvero malato.
Rispondiamo alla domanda 2)

Questo risultato è meno strano di quello precedente. Se il test dice che uno è sano, rimane una probabilità minore dell'1% che l'individuo sia in realtà malato.

[Planezio]

A me risulta 8,33% di probabilità, ma io avevo detto che il test è affidavbile per il 90% dei casi, non per l'80%.
Comunque il ragionamento fila.
Io comunque l'ho fatto così:
Arrivano 1.000 persone, 990 sane e 10 malate.
Test delle sane =
99 malate
891 sane
Test delle malate =
9 malate
1 sana.
Totale dei test "malato" = 108
Totale dei "veri" malati = 9
Percentuale = 9/108 = 8,33%.
Con affidabilità del test invece 80% mi viene 8 malati su 206 risultati positivi = 3,88%.
Non so se il metodo sia giusto, lo spero.

[Erasmus]

Non sono affatto d'accordo!
E vorei sapere il parere di Miza e di aspesi (dato che in statistica io sono pittosto scarso!)
La domanda era:

Planezio

[...] Quante sono le REALI probabilità che sia malato per davvero?

Planezio riconosce che meta ha usato lo stesso suo metodo ma ha trovato risultati diversi perché ha assunto 80% invece di 90% la probabilità che il test dia risultati giusti.
Bene: faccio anch'io come meta: adopero lo stesso metodo di calcolo che dice Planezio ma assumo che la probabilità che il test dia risultati giusti è 100%
Planezio ragiona così:

Planezio

[...] Arrivano 1.000 persone, 990 sane e 10 malate.
Test delle sane =
99 malate
891 sane
Test delle malate =
9 malate
1 sana.
Totale dei test "malato" = 108
Totale dei "veri" malati = 9
Percentuale = 9/108 = 8,33%.

a) Mi pare che c'è un piccolo "errore di sbaglio". I "veri" malati sono 10 e non 9. Il rapporto di Planezio non è 9/108 = 1/12 bensì 5/54 ≈ 9,26%
b) Mi pare che ci sia un enorme arbitrario dsalto nella logica del procedimento!
Qui si suppone che il campione "testasto" sia perfetto, abbia cioè lo stesso rapporto malati/sani della popolazione totale della regione a malattia "endemica". E' una semplificaziione arbitraria che però, nell'economia di questo quiz ossia: in assenza di informazioni migliori – è accettabile.
Il difetto de test, essendo pochini i veri ammalati, consiste nel diagnosticare ammalata una percentuale di sani di circa il 10%.
Ma che c'entra questo col sapere che probabilità ha UN (solo) individuo (che quindi NON può assolutamente essere assunto come buon campione statistico) di mlato?
Secondo me ... non c'entra un fico secco!
Applichiamo lo stesso metodo di Planezio assummendo però che il test dia risultati giusti al 99%.

Pseudo-Planezio

[...] Arrivano 10.000 persone, 9900 sane e 100 malate.
Test sulle 9900 sane =
99 malate
9801 sane
Test sulle 100 malate =
99 malate
1 sana.
Totale dei test "malato" = 99 +99 = 198
Totale dei "veri" malati = 100
Percentuale = 100/198 ≈ 50,5%.

Tu Planezio, al posto del tizio diagnosticato, penseresti che è quasi equiprobabile l'essere sano o malato. Io invece penserei che quasi certamente sono malato; ma siccome non è proprio sicuro che lo sia, cercherei di rifarmi fare il test quanto prima possibile!
–––

[meta]

Planezio

A me risulta 8,33% di probabilità, ma io avevo detto che il test è affidavbile per il 90% dei casi, non per l'80%.
Comunque il ragionamento fila.
Io comunque l'ho fatto così:
Arrivano 1.000 persone, 990 sane e 10 malate.
Test delle sane =
99 malate
891 sane
Test delle malate =
9 malate
1 sana.
Totale dei test "malato" = 108
Totale dei "veri" malati = 9
Percentuale = 9/108 = 8,33%.
Con affidabilità del test invece 80% mi viene 8 malati su 206 risultati positivi = 3,88%.
Non so se il metodo sia giusto, lo spero.

il problema è che non basta dire che il test è esatto in una certa percentuale, occorre anche distinguere i falsi negativi dai falsi positivi, quello che nel mio copia incolla è la sensibilità distinta dalla specificità. credo poi che quando si dice che il test produce ad es 10 falsi positivi, si debba intendere che al massimo sono 10, non che ce ne siano sempre 10.


sono già molto oltre le mie competenze, è meglio che mi fermi agli strafalcioni che avrò fatto di sicuro.

[meta]

Erasmus

Tu Planezio, al posto del tizio diagnosticato, penseresti che è quasi equiprobabile l'essere sano o malato. Io invece penserei che quasi certamente sono malato; ma siccome non è proprio sicuro che lo sia, cercherei di rifarmi fare il test quanto prima possibile!
–––

il senso notevolissimo di questo calcolo è che chi riceve un test positivo ha sì molte più probabilità di di essere malato rispetto a chi ha un test negativo, ma che comunque sono basse, anzi molto basse se la frequenza generale di malattia è modesta.
in queste condizioni, solo chi ha un test positivo deve rifare le analisi, chi lo riceve negativo no, pur essendo possibile che sia un falso negativo.


è la storia del PSA: producendo molti falsi positivi su una malattia che dipende moltissimo dall'età, risulta essere un esame DANNOSO sotto i 45 anni, in assenza di altre indicazioni.

[aspesi]

Teorema di Bayes (è una probabilità di una probabilità, dopo aver visto i risultati)

Quiz di Planezio (supposto che la negativitò del test ni sani sia come la sensibilità del test nei malati = 0,9):

............................. Malati ....................... Sani .................... Totale
Test positivo .. 0,01*0,9 = 0,009 ..... 0,99*0,1 = 0,099 .......... 0,108
Test negativo . 0,01*0,1 = 0,001 ..... 0,99*0,9 = 0,891 .......... 0,892
.... Totale ............... 0,01 ........................ 0,99 ........................ 1

Quindi prob. di essere malati se il test è positivo = 0,009 / 0,108 = 0,0833.... ----> 8,33%

prob. di essere malati se il test è negativo = 0,001 / 0,892 = 0,001121 ----> 0,1121%

Quiz meta:

............................. Malati .......................... Sani .......................... Totale
Test positivo .. 0,01*0,8 = 0,008 ..... 0,99*0,096 = 0,09504 .......... 0,10304
Test negativo . 0,01*0,2 = 0,002 ..... 0,99*0,904 = 0,89496 .......... 0,89696
.... Totale ............... 0,01 ........................ 0,99 ................................. 1

prob. di essere malati se il test è positivo = 0,008 / 0,10304 = 0,07764 ----> 7,764%

[astromauh]

aspesi

Quindi prob. di essere malati se il test è positivo = 0,009 / 0,108 = 0,0833.... ----> 8,33%

Io lo avevo detto tanto tempo fa.

astromauh

Secondo me la probabilità che abbia contratto il virus dovrebbe essere del 8.3(3)% .

[astromauh]

Erasmus

Non sono affatto d'accordo!

Me lo immaginavo. Perché questo quiz e analogo ad un altro quiz su cui Erasmus non era d'accordo, anche se non ricordo quale fosse.

Adesso non ho il tempo per spiegarmi bene. Il problema è che Erasmus non riconosce la necessità di riconteggiare le probabilità dopo che si è venuti a conoscenza di un fatto, che in questo caso è che il viaggiatore è risultato positivo al test.

Il ragionamento giusto da fare è quello di considerare inizialmente tutti e quattro i possibili esiti, e calcolarne le probabilità.

tizio.......risultato.................Probabilità
malato...malato 0.01 * 0.90 = 0.009
malato...sano 0.01 * 0.1 = 0.001
sano......sano 0.99 * 0.90 = 0.891
sano......malato 0.99 * 0.1 =0.099

Totale Complessivo = 1

Ma di queste quattro esiti possiamo prendere in considerazione solo i due dove il risultato del test è stato: malato.

Nuovo Totale = 0.009 + 0.099 = 0.108 (Nuovo Totale che prende in considerazione solo i casi in cui il risultato del test è stato: malato, perché sappiamo che è questo ciò che è avvenuto)

ProbA = 0.009 / 0.108 = 0.08(3)= 1/12 (il tizio è malato e il test dice che è malato)

ProbB = 0.099 / 0.108 = 0.91(6) = 11/12 (il tizio è sano e il test dice che è malato)



PS

Rileggendo meglio mi sono accorto che Erasmus non era d'accordo con lo strano calcolo di Planezio e non sul risultato del quiz. In effetti nemmeno io ho capito il calcolo di Planezio, e credo sia errato, ma il risultato è giusto.