Bajesovo zaključivanje

Bajesovo zaključivanje je metoda statističkog zaključivanja u kojoj se Bajesova teorema koristi koristi za ažuriranje verovatnoće za hipotezu kad god više dokaza ili informacija postane dostupno. Bajesovo zaključivanje je važna tehnika u statistici, a posebno u matematičkoj statistici. Bajesovo ažuriranje je posebno važno u dinamičkoj analizi niza podataka. Bajesovo zaključivanje je našlo primenu u širokom spektru aktivnosti, uključujući nauku, inženjerstvo, filozofiju, medicinu, sport i pravo. U filozofiji teorije odlučivanja, Bajesovo zaključivanje je usko povezano sa subjektivnom verovatnoćom, koja se često naziva i „Bajesova verovatnoća”.

Uvod u Bajesovo pravilo

Geometrijska vizualizacija Bajesove teoreme. U tabeli, vrednosti 3, 1, 2 i 6 daju relativne pondere svakog korespondirajućeg uslova i slučaja. Slike predstavljaju ćelije tabele koje učestvuju u svakom metriku, pri čemu je verovatnoća zasenčeni deo slike. Ovim se pokazuje da je P(A|B) P(B) = P(B|A) P(A) i.e. P(A|B) = P(B|A) P(A)/P(B). Slično rezonovanje se može koristiti da se to pokaže da je P(Ā|B) = P(B|Ā) P(Ā)/P(B) etc.

Glavni članak: Bajesova teorema

Takođe pogledajte: Bajesova verovatnoća

Formalno objašnjenje

Bajesovo zaključivanje izvodi posteriornu verovatnoću kao konsekvencu dva antecedenta: prethodne verovatnoće i „funkcije verovatnoće” izvedene iz statističkog modela za uočene podatke. Bajesovim zaključivanjem se izračunava posteriorna verovatnoća prema Bajesovoj teoremi:

$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}$

gde

• $\textstyle H$ označava svaku hipotezu na čiju verovatnoću mogu da utiču podaci (zvani dokazi u nastavku). Često postoje hipoteze koje se nadmeću, i zadatak je da se utvrditi koja je najverovatnija.
• $\textstyle P(H)$, prethodna verovatnoća, procena je verovatnoće hipoteze $\textstyle H$ pre nego što su podaci $\textstyle E$, sadašnji dokazi, uočeni.
• $\textstyle E$, dokazi, odgovara novim podacima koji nisu korišteni u računanju prethodne verovatnoće.
• $\textstyle P(H\mid E)$, posteriorna verovatnoća, verovatnoća je za $\textstyle H$ kad je dato $\textstyle E$, i.e., nakon što je $\textstyle E$ uočeno. To je tražena veličina: verovatnoća hipoteze s obzirom na uočene dokaze.
• $\textstyle P(E\mid H)$ je verovatnoća uočavanja $\textstyle E$ za dato $\textstyle H$. Kao funkcija od $\textstyle E$ sa fiksnim $\textstyle H$, ukazuje na kompatibilnost dokaza s datom hipotezom. Funkcija verovatnoće je funkcija dokaza, $\textstyle E$, dok je posteriorna verovatnoća funkcija hipoteze, $\textstyle H$.
• $\textstyle P(E)$ se ponekad naziva marginalna verovatnoća ili „evidencija modela”. Ovaj faktor je isti za sve razmatrane hipoteze (što je vidljivo iz činjenice da se hipoteza $\textstyle H$ ne pojavljuje nigde u simbolu, za razliku od svih ostalih faktora), te ovaj faktor ne ulazi u utvrđivanje relativne verovatnoće različitih hipoteza.

Za različite vrednost $\textstyle H$, samo faktori $\textstyle P(H)$ i $\textstyle P(E\mid H)$, oba od kojih su u numeratoru, utiču na vrednost $\textstyle P(H\mid E)$ – posteriornu verovatnoću da je hipoteza proporcionalna svojoj priornoj verovatnoći (svojoj naslednoj verovatnoći) i novostečenu verovatnoću (njenu kompatibilnost sa novouočenim dokazima).

Bajesovo pravilo se isto tako može napisati na sledeći način:

$P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)$

gde faktor $\textstyle {\frac {P(E\mid H)}{P(E)}}$ može da bude interpretiran kao impakt $E$ na verovatnoću od $H$.

Alternative Bajesovom ažuriranju

Bajesova ažuriranje nalazi široku primenu i računarski je podesno. Međutim, ono nije jedino pravilo ažuriranja koje se može smatrati racionalnim.

Ijan Haking je uočio da tradicionalni argumenti „Holandske knjige” nisu sadržali Bajesovo ažuriranje: oni su ostavili otvorenu mogućnost da pravila nebajesovog ažuriranja mogu izbeći Holandske knjige. Haking je napisao „Niti argument holandske knjige, niti bilo koji drugi iz personalističkog arsenala dokaza o aksiomima verovatnoće ne uključuje dinamičku pretpostavku. Nijedan ne podrazumeva bajezijanizam. Dakle, personalista zahteva da dinamička pretpostavka bude Bajesova. Tačno je da bi u doslednosti personalista mogao da odustane od Bajesovog modela učenja iz iskustva. So može izgubiti svoju draž.”

Zapravo, postoje nebajesova pravila za ažuriranje koja takođe izbegavaju Holandske knjige (o čemu se govori u literaturi o „kinematici verovatnoće”) nakon objavljivanja pravila Ričarda K. Džefrija, koje primenjuje Bajesovo pravilo na slučaj gde je samim dokazima dodeljena verovatnoća. Dodatne hipoteze neophodne za jedinstveno zahtevanje Bajesovog ažuriranja su smatrane znatnim, komplikovanim i nezadovoljavajućim.

Formalni opis Bajesovog zaključivanja

Opisi

• $x$, opšta tačka podataka. To zapravo može da bude vektor vrednosti.
• $\theta$, parameter distribucije tačaka podataka, i.e., $x\sim p(x\mid \theta )$. To zapravo može da bude vektor parametara.
• $\alpha$, hiperparametar parameterske distribucije, i.e., $\theta \sim p(\theta \mid \alpha )$. To zapravo može da bude vektor hiperparametara.
• $\mathbf {X}$ je uzorak, skup $n$ uočenih tačaka podataka, i.e., $x_{1},\ldots ,x_{n}$.
• ${\tilde {x}}$, nova tačka podataka čija distribucija se predviđa.

Literatura

• Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. ISBN 0123850487, ISBN 978-0123850485
• Bickel, Peter J. & Doksum, Kjell A. (2001). Mathematical Statistics, Volume 1: Basic and Selected Topics (Second (updated printing 2007) изд.). Pearson Prentice–Hall. ISBN 978-0-13-850363-5. 
• Box, G. E. P. and Tiao, G. C. (1973) Bayesian Inference in Statistical Analysis, Wiley, ISBN 0-471-57428-7
• Edwards, Ward (1968). „Conservatism in Human Information Processing”. Ур.: Kleinmuntz, B. Formal Representation of Human Judgment. Wiley. 
• Edwards, Ward (1982). Daniel Kahneman; Paul Slovic; Amos Tversky, ур. „Judgment under uncertainty: Heuristics and biases”. Science. 185 (4157): 1124—1131. Bibcode:1974Sci...185.1124T. PMID 17835457. doi:10.1126/science.185.4157.1124. 
• Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996).
• Howson, C. & Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (3rd изд.). Open Court Publishing Company. ISBN 978-0-8126-9578-6. 
• Phillips, L. D.; Edwards, Ward (oktobar 2008). „Chapter 6: Conservatism in a Simple Probability Inference Task (Journal of Experimental Psychology (1966) 72: 346-354)”. Ур.: Jie W. Weiss; David J. Weiss. A Science of Decision Making:The Legacy of Ward Edwards. Oxford University Press. стр. 536. ISBN 978-0-19-532298-9. 
• Vallverdu, Jordi (2016). Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning. New York: Springer. ISBN 978-3-662-48638-2. 
• Stone, JV (2013), "Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
• Dennis V. Lindley (2013). Understanding Uncertainty, Revised Edition (2nd изд.). John Wiley. ISBN 978-1-118-65012-7. 
• Colin Howson & Peter Urbach (2005). Scientific Reasoning: The Bayesian Approach (3rd изд.). Open Court Publishing Company. ISBN 978-0-8126-9578-6. 
• Berry, Donald A. (1996). Statistics: A Bayesian Perspective. Duxbury. ISBN 978-0-534-23476-8. 
• Morris H. DeGroot & Mark J. Schervish (2002). Probability and Statistics (third изд.). Addison-Wesley. ISBN 978-0-201-52488-8. 
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L (2003). Introduction to Bayesian Inference and Decision (2nd изд.). Probabilistic. ISBN 978-0-9647938-4-2. 
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P. & Louis, Thomas A. (2008). Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-697-6. 
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5. 
• Berger, James O (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second изд.). Springer-Verlag. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2. 
• Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley. 
• DeGroot, Morris H., Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Theory of statistics. Springer-Verlag. ISBN 978-0-387-94546-0. 
• Jaynes, E. T. (1998) Probability Theory: The Logic of Science.
• O'Hagan, A. and Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
• Robert, Christian P (2001). The Bayesian Choice – A Decision-Theoretic Motivation (second изд.). Springer. ISBN 978-0-387-94296-4. 
• Glenn Shafer and Pearl, Judea, eds. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013), "Bayesian Programming", CRC Press. ISBN 9781439880326
• Francisco J. Samaniego (2010), "A Comparison of the Bayesian and Frequentist Approaches to Estimation" Springer, New York, ISBN 978-1-4419-5940-9

Spoljašnje veze

• Hazewinkel Michiel, ур. (2001). „Bayesian approach to statistical problems”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• Bayesian Statistics from Scholarpedia.
• Introduction to Bayesian probability from Queen Mary University of London
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo
• Bayesian reading list Архивирано на сајту Wayback Machine (25. јун 2011), categorized and annotated by Tom Griffiths
• A. Hajek and S. Hartmann: Bayesian Epistemology, in: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106.
• S. Hartmann and J. Sprenger: Bayesian Epistemology, in: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609-620.
• Stanford Encyclopedia of Philosophy: "Inductive Logic"
• Bayesian Confirmation Theory
• What Is Bayesian Learning?
• Data, Uncertainty and Inference An introduction to Bayesian inference and MCMC with a lot of examples fully explained. (free ebook)