Бајесова теорема

Плави неонски натпис приказује једноставни израз Бајесове теореме у просторијама предузећа ХП Аутономија

Бајесова теорема је појам из вероватноће, који се користи при рачуну са условљеном вероватноћом. Име је добио по математичару Томасу Бајесу (Thomas Bayes). Она описује вероватноћу догађаја, на основу претходног знања о условима који би могли бити повезани са догађајем. На пример, ако је познато да се ризик од развоја здравствених проблема повећава са годинама, Бајесова теорема омогућава да се ризик за особу познатог узраста прецизније процени условљавањем у односу на старост испитаника, уместо да се једноставно претпостави да појединац типичан је за популацију у целини.

Једна од многих примена Бајесове теореме је Бајесово закључивање, посебан приступ статистичком закључивању. Када се примењују, вероватноће укључене у теорему могу имати различите интерпретације вероватноће. Са Бајесовом интерпретацијом вероватноће, теорема изражава како степен веровања, изражен као вероватноћа, треба рационално да се промени да би се узела у обзир доступност повезаних доказа. Бајесов закључак је фундаменталан за Бајесову статистику, а један ауторитет сматра да је за „теорију вероватноће оно што је Питагорина теорема за геометрију.“

Историја

Бајесова теорема је добила име по велечасном Томасу Бајесу (/beɪz/), такође статистичару и филозофу. Бајес је користио условну вероватноћу да обезбеди алгоритам (његова тврдња 9) који користи доказе за израчунавање ограничења за непознати параметар. Његов рад је објављен 1763. као Есеј ка решавању проблема у доктрини шанси. Бајес је проучавао како да се израчуна дистрибуција за параметар вероватноће биномске расподеле (у модерној терминологији). Након Бајесове смрти, његова породица је пренела његове папире пријатељу, министру, филозофу и математичару Ричарду Прајсу.

Током две године, Ричард Прајс је значајно уредио необјављени рукопис, пре него што га је послао пријатељу који га је наглас прочитао у Краљевском друштву 23. децембра 1763. године. Прајс је уредио Бајесово главно дело „Есеј ка решавању проблема у доктрини шанси“ (1763), које се појавило у Филозофским трансакцијама и садржи Бајесову теорему. Прајс је написао увод у рад који пружа неке од филозофских основа Бајесове статистике и одабрао једно од два Бајесова решења. Године 1765, Прајс је изабран за члана Краљевског друштва као признање за његов рад на Бајесовом наслеђу. Писмо послато његовом пријатељу Бенџамину Френклину је 27. априла прочитано у Краљевском друштву, а касније и објављено, где Прајс примењује ово дело на становништво и израчунавање 'животних ануитета'.

Независно од Бајеса, Пјер-Симон Лаплас је 1774. године, и касније у свом делу из 1812. године Аналитичка теорија вероватноће, користио условну вероватноћу да формулише однос ажуриране постериорне вероватноће из претходне вероватноће, датих доказа. Он је репродуковао и проширио Бајесове резултате 1774. године, очигледно несвестан Бајесовог рада. Бајесову интерпретацију вероватноће развио је углавном Лаплас.

Отприлике 200 година касније, сер Харолд Џефрис је Бајесов алгоритам и Лапласову формулацију ставио на аксиоматску основу, написавши у књизи из 1973. да је Бајесова теорема „за теорију вероватноће оно што је Питагорина теорема за геометрију“.

Стивен Стиглер је користио Бајесов аргумент да закључи да је Бајесову теорему открио Николас Саундерсон, слепи енглески математичар, нешто пре Бајеса; то тумачење је, међутим, спорно. Мартин Хупер и Шарон Макгејн су тврдили да је допринос Ричарда Прајса био значајан:

Према савременим стандардима, требало би да се позовемо на Бајес–Пријсово правило. Прајс је открио Бајесов рад, препознао његову важност, исправио га, допринео чланку и нашао му употребу. Модерна конвенција употребе само Бајесовог имена је неправедна, али је толико укорењена да било шта друго нема смисла.

Формула

За коначно много дисјунктних случајева A_i, i = 1, ..., N, Бајесова теорема, односно формула гласи:

Бајесова формула у општем случају $P(A_{i}|B)\;=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}}=\;{\frac {P(B|A_{i})\cdot P(A_{i})}{P(B)}}\;$

Доказ

Према дефиницији условне вероватноће имамо:

$P(A_{i}\mid B)={\frac {P(A_{i}\cap B)}{P(B)}}={\frac {P(A_{i})P(B\mid A_{i})}{P(B)}}$

Даље, користећи правило потпуне вероватноће:

$P(B)\;=\;\sum _{j=1}^{N}P(A_{j}\cap B)\;=\;{\sum _{j=1}^{N}P(B|A_{j})\cdot P(A_{j})}$

Заменом у први израз се директно добија Бајесова формула. Крај доказа.

Бајесова формула за два случаја

Када имамо два случаја A и B, формула се своди на:

$P(A|B)\;=\;{\frac {P(B|A)\cdot P(A)}{P(B)}}$

Где је

P(A) вероватноћа случаја A

A) вероватноћа случаја B под условом да се A догоди

P(B) вероватноћа случаја B

Пример

Цела производња у фабрици се одвија на три машине. Три машине чине редом 20%, 30% и 50% фабричке производње. Удио произведеног шкарта(неисправних производа) за прву машину износи 5%; 3% за другу машину; и 1% за трећу машину. Ако је случајно одабран производ неисправан, која је вероватноћа да је произведен од стране треће машине?

До одговора се може доћи без кориштења формуле примјеном услова на било који хипотетички број случајева. На пример, ако фабрика произведе 100.000 призвода, 20.000 ће бити произведено на машини A, 30.000 по машини B и 50.000 по машини C. Машина A ће произвести 1000 неисправних производа, машина B 900 и машина C 500. укупно 2400 неисправних предмета, само 500, или 5/24 произведено је на машини C.

Решење је следеће, нека X_i означава догађај да је случајно изабрани производ направила i ^та машина (за i = A,B,C). Нека Y означава догађај да је случајно изабрани производ неистраван. Па имамо следеће информације:

$P(X_{A})=0.2,\quad P(X_{B})=0.3,\quad P(X_{C})=0.5.$

Ако је призвод направљен на првој машини, онда је вероватноћа да је неисправан 0.05; то јест, P(Y | X_A) = 0.05. Свеукупно имамо:

$P(Y\mid X_{A})=0.05,\quad P(Y\mid X_{B})=0.03,\quad P(Y\mid X_{C})=0.01.$

Да бисмо одговорили на почетно питање, прво пронађемо P(Y). То можемо урадити на следећи начин:

$P(Y)=\sum _{i}P(Y\mid X_{i})P(X_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.$

Стога је 2,4% укупне производње фабрике неисправно.

Нама је дато да се Y десило, и треба да израчунамо условну вероватноћу од X_C. По Бајесовој теореми,

$P(X_{C}\mid Y)={\frac {P(Y\mid X_{C})P(X_{C})}{P(Y)}}={\frac {0.01\cdot 0.50}{0.024}}={\frac {5}{24}}$

С обзиром на то да је предмет неисправан, вероватноћа да је направљен на трећој машини је само 5/24. Иако машина C производи половину укупне производње, она производи много мање неисправних призвода. Отуда пошто знамо да је изабрани призвод неисправан, можемо онда да заменимо претходну вероватноћу P(X_C) = 1/2 са мањом вероватноћом P(X_C | Y) = 5/24.

Види још

• Вероватноћа
• Теорија вероватноће
• Условна вероватноћа
• Теорема потпуне вероватноће

Литература

• Ивковић, Зоран (1986). Теорија вероватноћа са математичком статистиком (III изд.). Београд: Природно математички факултет Универзитета у Београду и Југословенски завод за продуктивност рада. стр. 17. 
• Меркле, Милан (2016). Вероватноћа и статистика за инжењере и студенте технике (4. и допуњено изд.). Београд: Академска мисао. стр. 44. ISBN 978-86-7466-594-7. 
• Grunau, Hans-Christoph (2014). „Preface Issue 3/4-2013”. Jahresbericht der Deutschen Mathematiker-Vereinigung. 115 (3–4): 127—128. S2CID 256098807. doi:10.1365/s13291-013-0077-z. 
• Gelman, A, Carlin, JB, Stern, HS, and Rubin, DB (2003), "Bayesian Data Analysis," Second Edition, CRC Press.
• Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)," American Mathematical Society (free pdf available) [1] Архивирано на сајту Wayback Machine (27. јул 2011).
• Hazewinkel Michiel, ур. (2001). „Bayes formula”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• McGrayne, SB (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy. Yale University Press. ISBN 978-0-300-18822-6. 
• Lee, Peter M (2012), "Bayesian Statistics: An Introduction," Wiley. (4th изд.). ISBN 978-1-118-33257-3. .
• Puga JL, Krzywinski M, Altman N (31. 03. 2015). „Bayes' theorem”. Nature Methods. 12 (4): 277—278. PMID 26005726. S2CID 12328927. doi:10.1038/nmeth.3335. 
• Rosenthal, Jeffrey S (2005), "Struck by Lightning: The Curious World of Probabilities." HarperCollins. (Granta. 2008. ISBN 9781862079960.).
• Stigler, SM (1986). „Laplace's 1774 Memoir on Inverse Probability”. Statistical Science. 1 (3): 359—363. doi:10.1214/ss/1177013620. 
• Stone, JV (2013), download chapter 1 of "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
• Bayesian Reasoning for Intelligent People, An introduction and tutorial to the use of Bayes' theorem in statistics and cognitive science.
• Morris, Dan (2016), Read first 6 chapters for free of "Bayes' Theorem Examples: A Visual Introduction For Beginners" Blue Windmill. ISBN 978-1549761744.. A short tutorial on how to understand problem scenarios and find P(B), P(A), and P(B|A).
• Grunau, Hans-Christoph (24. 1. 2014). „Preface Issue 3/4-2013”. Jahresbericht der Deutschen Mathematiker-Vereinigung. 115 (3–4): 127—128. doi:10.1365/s13291-013-0077-z . CS1 одржавање: Формат датума (веза)
• Laplace, Pierre Simon (1986). „Memoir on the Probability of the Causes of Events”. Statistical Science. 1 (3): 364—378. JSTOR 2245476. doi:10.1214/ss/1177013621 . 

Спољашње везе

• Bayes' theorem на сајту Енциклопедија Британика
• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011
• Visual explanation of Bayes using trees (video)
• Bayes' frequentist interpretation explained visually (video)
• Earliest Known Uses of Some of the Words of Mathematics (B). Contains origins of "Bayesian," "Bayes' Theorem," "Bayes Estimate/Risk/Solution," "Empirical Bayes," and "Bayes Factor."
• Weisstein, Eric W. „Bayes' Theorem”. MathWorld. 
• Bayes' theorem at PlanetMath.org.
• Bayes Theorem and the Folly of Prediction
• A tutorial on probability and Bayes' theorem devised for Oxford University psychology students
• An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky