Bajesova teorema

Plavi neonski natpis prikazuje jednostavni izraz Bajesove teoreme u prostorijama preduzeća HP Autonomija

Bajesova teorema je pojam iz verovatnoće, koji se koristi pri računu sa uslovljenom verovatnoćom. Ime je dobio po matematičaru Tomasu Bajesu (Thomas Bayes). Ona opisuje verovatnoću događaja, na osnovu prethodnog znanja o uslovima koji bi mogli biti povezani sa događajem. Na primer, ako je poznato da se rizik od razvoja zdravstvenih problema povećava sa godinama, Bajesova teorema omogućava da se rizik za osobu poznatog uzrasta preciznije proceni uslovljavanjem u odnosu na starost ispitanika, umesto da se jednostavno pretpostavi da pojedinac tipičan je za populaciju u celini.

Jedna od mnogih primena Bajesove teoreme je Bajesovo zaključivanje, poseban pristup statističkom zaključivanju. Kada se primenjuju, verovatnoće uključene u teoremu mogu imati različite interpretacije verovatnoće. Sa Bajesovom interpretacijom verovatnoće, teorema izražava kako stepen verovanja, izražen kao verovatnoća, treba racionalno da se promeni da bi se uzela u obzir dostupnost povezanih dokaza. Bajesov zaključak je fundamentalan za Bajesovu statistiku, a jedan autoritet smatra da je za „teoriju verovatnoće ono što je Pitagorina teorema za geometriju.“

Istorija

Bajesova teorema je dobila ime po velečasnom Tomasu Bajesu (/beɪz/), takođe statističaru i filozofu. Bajes je koristio uslovnu verovatnoću da obezbedi algoritam (njegova tvrdnja 9) koji koristi dokaze za izračunavanje ograničenja za nepoznati parametar. Njegov rad je objavljen 1763. kao Esej ka rešavanju problema u doktrini šansi. Bajes je proučavao kako da se izračuna distribucija za parametar verovatnoće binomske raspodele (u modernoj terminologiji). Nakon Bajesove smrti, njegova porodica je prenela njegove papire prijatelju, ministru, filozofu i matematičaru Ričardu Prajsu.

Tokom dve godine, Ričard Prajs je značajno uredio neobjavljeni rukopis, pre nego što ga je poslao prijatelju koji ga je naglas pročitao u Kraljevskom društvu 23. decembra 1763. godine. Prajs je uredio Bajesovo glavno delo „Esej ka rešavanju problema u doktrini šansi“ (1763), koje se pojavilo u Filozofskim transakcijama i sadrži Bajesovu teoremu. Prajs je napisao uvod u rad koji pruža neke od filozofskih osnova Bajesove statistike i odabrao jedno od dva Bajesova rešenja. Godine 1765, Prajs je izabran za člana Kraljevskog društva kao priznanje za njegov rad na Bajesovom nasleđu. Pismo poslato njegovom prijatelju Bendžaminu Frenklinu je 27. aprila pročitano u Kraljevskom društvu, a kasnije i objavljeno, gde Prajs primenjuje ovo delo na stanovništvo i izračunavanje 'životnih anuiteta'.

Nezavisno od Bajesa, Pjer-Simon Laplas je 1774. godine, i kasnije u svom delu iz 1812. godine Analitička teorija verovatnoće, koristio uslovnu verovatnoću da formuliše odnos ažurirane posteriorne verovatnoće iz prethodne verovatnoće, datih dokaza. On je reprodukovao i proširio Bajesove rezultate 1774. godine, očigledno nesvestan Bajesovog rada. Bajesovu interpretaciju verovatnoće razvio je uglavnom Laplas.

Otprilike 200 godina kasnije, ser Harold Džefris je Bajesov algoritam i Laplasovu formulaciju stavio na aksiomatsku osnovu, napisavši u knjizi iz 1973. da je Bajesova teorema „za teoriju verovatnoće ono što je Pitagorina teorema za geometriju“.

Stiven Stigler je koristio Bajesov argument da zaključi da je Bajesovu teoremu otkrio Nikolas Saunderson, slepi engleski matematičar, nešto pre Bajesa; to tumačenje je, međutim, sporno. Martin Huper i Šaron Makgejn su tvrdili da je doprinos Ričarda Prajsa bio značajan:

Prema savremenim standardima, trebalo bi da se pozovemo na Bajes–Prijsovo pravilo. Prajs je otkrio Bajesov rad, prepoznao njegovu važnost, ispravio ga, doprineo članku i našao mu upotrebu. Moderna konvencija upotrebe samo Bajesovog imena je nepravedna, ali je toliko ukorenjena da bilo šta drugo nema smisla.

Formula

Za konačno mnogo disjunktnih slučajeva A_i, i = 1, ..., N, Bajesova teorema, odnosno formula glasi:

Bajesova formula u opštem slučaju $P(A_{i}|B)\;=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{P(B)}}\;$

Dokaz

Prema definiciji uslovne verovatnoće imamo:

$P(A_{i}\mid B)={\frac {P(A_{i}\cap B)}{P(B)}}={\frac {P(A_{i})P(B\mid A_{i})}{P(B)}}$

Dalje, koristeći pravilo potpune verovatnoće:

$P(B)\;=\;\sum _{j=1}^{N}P(A_{j}\cap B)\;=\;{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}$

Zamenom u prvi izraz se direktno dobija Bajesova formula. Kraj dokaza.

Bajesova formula za dva slučaja

Kada imamo dva slučaja A i B, formula se svodi na:

$P(A|B)\;=\;{\frac {P(B|A)\cdot P(A)}{P(B)}}$

Gde je

P(A) verovatnoća slučaja A

A) verovatnoća slučaja B pod uslovom da se A dogodi

P(B) verovatnoća slučaja B

Primer

Cela proizvodnja u fabrici se odvija na tri mašine. Tri mašine čine redom 20%, 30% i 50% fabričke proizvodnje. Udio proizvedenog škarta(neispravnih proizvoda) za prvu mašinu iznosi 5%; 3% za drugu mašinu; i 1% za treću mašinu. Ako je slučajno odabran proizvod neispravan, koja je verovatnoća da je proizveden od strane treće mašine?

Do odgovora se može doći bez korištenja formule primjenom uslova na bilo koji hipotetički broj slučajeva. Na primer, ako fabrika proizvede 100.000 prizvoda, 20.000 će biti proizvedeno na mašini A, 30.000 po mašini B i 50.000 po mašini C. Mašina A će proizvesti 1000 neispravnih proizvoda, mašina B 900 i mašina C 500. ukupno 2400 neispravnih predmeta, samo 500, ili 5/24 proizvedeno je na mašini C.

Rešenje je sledeće, neka X_i označava događaj da je slučajno izabrani proizvod napravila i ^ta mašina (za i = A,B,C). Neka Y označava događaj da je slučajno izabrani proizvod neistravan. Pa imamo sledeće informacije:

$P(X_{A})=0.2,\quad P(X_{B})=0.3,\quad P(X_{C})=0.5.$

Ako je prizvod napravljen na prvoj mašini, onda je verovatnoća da je neispravan 0.05; to jest, P(Y | X_A) = 0.05. Sveukupno imamo:

$P(Y\mid X_{A})=0.05,\quad P(Y\mid X_{B})=0.03,\quad P(Y\mid X_{C})=0.01.$

Da bismo odgovorili na početno pitanje, prvo pronađemo P(Y). To možemo uraditi na sledeći način:

$P(Y)=\sum _{i}P(Y\mid X_{i})P(X_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.$

Stoga je 2,4% ukupne proizvodnje fabrike neispravno.

Nama je dato da se Y desilo, i treba da izračunamo uslovnu verovatnoću od X_C. Po Bajesovoj teoremi,

$P(X_{C}\mid Y)={\frac {P(Y\mid X_{C})P(X_{C})}{P(Y)}}={\frac {0.01\cdot 0.50}{0.024}}={\frac {5}{24}}$

S obzirom na to da je predmet neispravan, verovatnoća da je napravljen na trećoj mašini je samo 5/24. Iako mašina C proizvodi polovinu ukupne proizvodnje, ona proizvodi mnogo manje neispravnih prizvoda. Otuda pošto znamo da je izabrani prizvod neispravan, možemo onda da zamenimo prethodnu verovatnoću P(X_C) = 1/2 sa manjom verovatnoćom P(X_C | Y) = 5/24.

Vidi još

• Verovatnoća
• Teorija verovatnoće
• Uslovna verovatnoća
• Teorema potpune verovatnoće

Literatura

• Ivković, Zoran (1986). Teorija verovatnoća sa matematičkom statistikom (III izd.). Beograd: Prirodno matematički fakultet Univerziteta u Beogradu i Jugoslovenski zavod za produktivnost rada. str. 17. 
• Merkle, Milan (2016). Verovatnoća i statistika za inženjere i studente tehnike (4. i dopunjeno izd.). Beograd: Akademska misao. str. 44. ISBN 978-86-7466-594-7. 
• Grunau, Hans-Christoph (2014). „Preface Issue 3/4-2013”. Jahresbericht der Deutschen Mathematiker-Vereinigung. 115 (3–4): 127—128. S2CID 256098807. doi:10.1365/s13291-013-0077-z. 
• Gelman, A, Carlin, JB, Stern, HS, and Rubin, DB (2003), "Bayesian Data Analysis," Second Edition, CRC Press.
• Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)," American Mathematical Society (free pdf available) [1] Arhivirano na sajtu Wayback Machine (27. јул 2011).
• Hazewinkel Michiel, ур. (2001). „Bayes formula”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy. Yale University Press. ISBN 978-0-300-18822-6. 
• Lee, Peter M (2012), "Bayesian Statistics: An Introduction," Wiley. (4th изд.). ISBN 978-1-118-33257-3. .
• Puga JL, Krzywinski M, Altman N (31. 03. 2015). „Bayes' theorem”. Nature Methods. 12 (4): 277—278. PMID 26005726. S2CID 12328927. doi:10.1038/nmeth.3335. 
• Rosenthal, Jeffrey S (2005), "Struck by Lightning: The Curious World of Probabilities." HarperCollins. (Granta. 2008. ISBN 9781862079960.).
• Stigler, SM (1986). „Laplace's 1774 Memoir on Inverse Probability”. Statistical Science. 1 (3): 359—363. doi:10.1214/ss/1177013620. 
• Stone, JV (2013), download chapter 1 of "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
• Bayesian Reasoning for Intelligent People, An introduction and tutorial to the use of Bayes' theorem in statistics and cognitive science.
• Morris, Dan (2016), Read first 6 chapters for free of "Bayes' Theorem Examples: A Visual Introduction For Beginners" Blue Windmill. ISBN 978-1549761744.. A short tutorial on how to understand problem scenarios and find P(B), P(A), and P(B|A).
• Grunau, Hans-Christoph (24. 1. 2014). „Preface Issue 3/4-2013”. Jahresbericht der Deutschen Mathematiker-Vereinigung. 115 (3–4): 127—128. doi:10.1365/s13291-013-0077-z . CS1 održavanje: Format datuma (veza)
• Laplace, Pierre Simon (1986). „Memoir on the Probability of the Causes of Events”. Statistical Science. 1 (3): 364—378. JSTOR 2245476. doi:10.1214/ss/1177013621 . 

Spoljašnje veze

• Bayes' theorem na sajtu Enciklopedija Britanika
• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011
• Visual explanation of Bayes using trees (video)
• Bayes' frequentist interpretation explained visually (video)
• Earliest Known Uses of Some of the Words of Mathematics (B). Contains origins of "Bayesian," "Bayes' Theorem," "Bayes Estimate/Risk/Solution," "Empirical Bayes," and "Bayes Factor."
• Weisstein, Eric W. „Bayes' Theorem”. MathWorld. 
• Bayes' theorem at PlanetMath.org.
• Bayes Theorem and the Folly of Prediction
• A tutorial on probability and Bayes' theorem devised for Oxford University psychology students
• An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky