Бајесово закључивање

Бајесово закључивање је метода статистичког закључивања у којој се Бајесова теорема користи користи за ажурирање вероватноће за хипотезу кад год више доказа или информација постане доступно. Бајесово закључивање је важна техника у статистици, а посебно у математичкој статистици. Бајесово ажурирање је посебно важно у динамичкој анализи низа података. Бајесово закључивање је нашло примену у широком спектру активности, укључујући науку, инжењерство, филозофију, медицину, спорт и право. У филозофији теорије одлучивања, Бајесово закључивање је уско повезано са субјективном вероватноћом, која се често назива и „Бајесова вероватноћа”.

Увод у Бајесово правило

Геометријска визуализација Бајесове теореме. У табели, вредности 3, 1, 2 и 6 дају релативне пондере сваког кореспондирајућег услова и случаја. Слике представљају ћелије табеле које учествују у сваком метрику, при чему је вероватноћа засенчени део слике. Овим се показује да је P(A|B) P(B) = P(B|A) P(A) i.e. P(A|B) = П(Б|А) П(А)/П(Б). Слично резоновање се може користити да се то покаже да је P(Ā|B) = П(Б|Ā) П(Ā)/П(Б) етц.

Главни чланак: Бајесова теорема

Такође погледајте: Бајесова вероватноћа

Формално објашњење

Бајесово закључивање изводи постериорну вероватноћу као консеквенцу два антецедента: претходне вероватноће и „функције вероватноће” изведене из статистичког модела за уочене податке. Бајесовим закључивањем се израчунава постериорна вероватноћа према Бајесовој теореми:

$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}$

где

• $\textstyle H$ означава сваку хипотезу на чију вероватноћу могу да утичу подаци (звани докази у наставку). Често постоје хипотезе које се надмећу, и задатак је да се утврдити која је највероватнија.
• $\textstyle P(H)$, претходна вероватноћа, процена је вероватноће хипотезе $\textstyle H$ пре него што су подаци $\textstyle E$, садашњи докази, уочени.
• $\textstyle E$, докази, одговара новим подацима који нису кориштени у рачунању претходне вероватноће.
• $\textstyle P(H\mid E)$, постериорна вероватноћа, вероватноћа је за $\textstyle H$ кад је дато $\textstyle E$, и.е., након што је $\textstyle E$ уочено. То је тражена величина: вероватноћа хипотезе с обзиром на уочене доказе.
• $\textstyle P(E\mid H)$ је вероватноћа уочавања $\textstyle E$ за дато $\textstyle H$. Као функција од $\textstyle E$ са фиксним $\textstyle H$, указује на компатибилност доказа с датом хипотезом. Функција вероватноће је функција доказа, $\textstyle E$, док је постериорна вероватноћа функција хипотезе, $\textstyle H$.
• $\textstyle P(E)$ се понекад назива маргинална вероватноћа или „евиденција модела”. Овај фактор је исти за све разматране хипотезе (што је видљиво из чињенице да се хипотеза $\textstyle H$ не појављује нигде у симболу, за разлику од свих осталих фактора), те овај фактор не улази у утврђивање релативне вероватноће различитих хипотеза.

За различите вредност $\textstyle H$, само фактори $\textstyle P(H)$ и $\textstyle P(E\mid H)$, оба од којих су у нумератору, утичу на вредност $\textstyle P(H\mid E)$ – постериорну вероватноћу да је хипотеза пропорционална својој приорној вероватноћи (својој наследној вероватноћи) и новостечену вероватноћу (њену компатибилност са новоуоченим доказима).

Бајесово правило се исто тако може написати на следећи начин:

$P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)$

где фактор $\textstyle {\frac {P(E\mid H)}{P(E)}}$ може да буде интерпретиран као импакт $E$ на вероватноћу од $H$.

Алтернативе Бајесовом ажурирању

Бајесова ажурирање налази широку примену и рачунарски је подесно. Међутим, оно није једино правило ажурирања које се може сматрати рационалним.

Ијан Хакинг је уочио да традиционални аргументи „Холандске књиге” нису садржали Бајесово ажурирање: они су оставили отворену могућност да правила небајесовог ажурирања могу избећи Холандске књиге. Хакинг је написао „Нити аргумент холандске књиге, нити било који други из персоналистичког арсенала доказа о аксиомима вероватноће не укључује динамичку претпоставку. Ниједан не подразумева бајезијанизам. Дакле, персоналиста захтева да динамичка претпоставка буде Бајесова. Тачно је да би у доследности персоналиста могао да одустане од Бајесовог модела учења из искуства. Со може изгубити своју драж.”

Заправо, постоје небајесова правила за ажурирање која такође избегавају Холандске књиге (о чему се говори у литератури о „кинематици вероватноће”) након објављивања правила Ричарда К. Џефрија, које примењује Бајесово правило на случај где је самим доказима додељена вероватноћа. Додатне хипотезе неопходне за јединствено захтевање Бајесовог ажурирања су сматране знатним, компликованим и незадовољавајућим.

Формални опис Бајесовог закључивања

Описи

• $x$, општа тачка података. То заправо може да буде вектор вредности.
• $\theta$, параметер дистрибуције тачака података, и.е., $x\sim p(x\mid \theta )$. То заправо може да буде вектор параметара.
• $\alpha$, хиперпараметар параметерске дистрибуције, и.е., $\theta \sim p(\theta \mid \alpha )$. То заправо може да буде вектор хиперпараметара.
• $\mathbf {X}$ је узорак, скуп $n$ уочених тачака података, и.е., $x_{1},\ldots ,x_{n}$.
• ${\tilde {x}}$, нова тачка података чија дистрибуција се предвиђа.

Литература

• Астер, Рицхард; Борцхерс, Бриан, анд Тхурбер, Цлиффорд (2012). Параметер Естиматион анд Инверсе Проблемс, Сецонд Едитион, Елсевиер. ISBN 0123850487, ISBN 978-0123850485
• Бицкел, Петер Ј. & Доксум, Кјелл А. (2001). Матхематицал Статистицс, Волуме 1: Басиц анд Селецтед Топицс (Сецонд (упдатед принтинг 2007) изд.). Пеарсон Прентице–Халл. ИСБН 978-0-13-850363-5. 
• Боx, Г. Е. П. анд Тиао, Г. C. (1973) Баyесиан Инференце ин Статистицал Аналyсис, Wилеy, ISBN 0-471-57428-7
• Едwардс, Wард (1968). „Цонсерватисм ин Хуман Информатион Процессинг”. Ур.: Клеинмунтз, Б. Формал Репресентатион оф Хуман Јудгмент. Wилеy. 
• Едwардс, Wард (1982). Даниел Кахнеман; Паул Словиц; Амос Тверскy, ур. „Јудгмент ундер унцертаинтy: Хеуристицс анд биасес”. Сциенце. 185 (4157): 1124—1131. Бибцоде:1974Сци...185.1124Т. ПМИД 17835457. дои:10.1126/сциенце.185.4157.1124. 
• Јаyнес Е. Т. (2003) Пробабилитy Тхеорy: Тхе Логиц оф Сциенце, ЦУП. ISBN 978-0-521-59271-0 (Линк то Фрагментарy Едитион оф Марцх 1996).
• Хоwсон, C. & Урбацх, П. (2005). Сциентифиц Реасонинг: тхе Баyесиан Аппроацх (3рд изд.). Опен Цоурт Публисхинг Цомпанy. ИСБН 978-0-8126-9578-6. 
• Пхиллипс, L. D.; Едwардс, Wард (октобар 2008). „Цхаптер 6: Цонсерватисм ин а Симпле Пробабилитy Инференце Таск (Јоурнал оф Еxпериментал Псyцхологy (1966) 72: 346-354)”. Ур.: Јие W. Wеисс; Давид Ј. Wеисс. А Сциенце оф Децисион Макинг:Тхе Легацy оф Wард Едwардс. Оxфорд Университy Пресс. стр. 536. ИСБН 978-0-19-532298-9. 
• Валлверду, Јорди (2016). Баyесианс Версус Фреqуентистс А Пхилосопхицал Дебате он Статистицал Реасонинг. Неw Yорк: Спрингер. ИСБН 978-3-662-48638-2. 
• Стоне, ЈВ (2013), "Баyес’ Руле: А Туториал Интродуцтион то Баyесиан Аналyсис", Доwнлоад фирст цхаптер хере, Себтел Пресс, Енгланд.
• Деннис V. Линдлеy (2013). Ундерстандинг Унцертаинтy, Ревисед Едитион (2нд изд.). Јохн Wилеy. ИСБН 978-1-118-65012-7. 
• Цолин Хоwсон & Петер Урбацх (2005). Сциентифиц Реасонинг: Тхе Баyесиан Аппроацх (3рд изд.). Опен Цоурт Публисхинг Цомпанy. ИСБН 978-0-8126-9578-6. 
• Беррy, Доналд А. (1996). Статистицс: А Баyесиан Перспецтиве. Дуxбурy. ИСБН 978-0-534-23476-8. 
• Моррис Х. ДеГроот & Марк Ј. Сцхервисх (2002). Пробабилитy анд Статистицс (тхирд изд.). Аддисон-Wеслеy. ИСБН 978-0-201-52488-8. 
• Болстад, Wиллиам M. (2007) Интродуцтион то Баyесиан Статистицс: Сецонд Едитион, Јохн Wилеy ISBN 0-471-27020-2
• Wинклер, Роберт L (2003). Интродуцтион то Баyесиан Инференце анд Децисион (2нд изд.). Пробабилистиц. ИСБН 978-0-9647938-4-2. 
• Лее, Петер M. Баyесиан Статистицс: Ан Интродуцтион. Фоуртх Едитион (2012), Јохн Wилеy ISBN 978-1-1183-3257-3
• Царлин, Брадлеy П. & Лоуис, Тхомас А. (2008). Баyесиан Метходс фор Дата Аналyсис, Тхирд Едитион. Боца Ратон, ФЛ: Цхапман анд Халл/ЦРЦ. ИСБН 978-1-58488-697-6. 
• Гелман, Андреw; Царлин, Јохн Б.; Стерн, Хал С.; Дунсон, Давид Б.; Вехтари, Аки; Рубин, Доналд Б. (2013). Баyесиан Дата Аналyсис, Тхирд Едитион. Цхапман анд Халл/ЦРЦ. ИСБН 978-1-4398-4095-5. 
• Бергер, Јамес О (1985). Статистицал Децисион Тхеорy анд Баyесиан Аналyсис. Спрингер Сериес ин Статистицс (Сецонд изд.). Спрингер-Верлаг. Бибцоде:1985сдтб.боок.....Б. ИСБН 978-0-387-96098-2. 
• Бернардо, Јосé M.; Смитх, Адриан Ф. M. (1994). Баyесиан Тхеорy. Wилеy. 
• ДеГроот, Моррис Х., Оптимал Статистицал Децисионс. Wилеy Цлассицс Либрарy. 2004. (Оригиналлy публисхед (1970) бy МцГраw-Хилл.) ISBN 0-471-68029-X.
• Сцхервисх, Марк Ј. (1995). Тхеорy оф статистицс. Спрингер-Верлаг. ИСБН 978-0-387-94546-0. 
• Јаyнес, Е. Т. (1998) Пробабилитy Тхеорy: Тхе Логиц оф Сциенце.
• О'Хаган, А. анд Форстер, Ј. (2003) Кендалл'с Адванцед Тхеорy оф Статистицс, Волуме 2Б: Баyесиан Инференце. Арнолд, Неw Yорк. ISBN 0-340-52922-9.
• Роберт, Цхристиан П (2001). Тхе Баyесиан Цхоице – А Децисион-Тхеоретиц Мотиватион (сецонд изд.). Спрингер. ИСБН 978-0-387-94296-4. 
• Гленн Схафер анд Пеарл, Јудеа, едс. (1988) Пробабилистиц Реасонинг ин Интеллигент Сyстемс, Сан Матео, ЦА: Морган Кауфманн.
• Пиерре Бессиèре ет ал. (2013), "Баyесиан Программинг", ЦРЦ Пресс. ISBN 9781439880326
• Францисцо Ј. Саманиего (2010), "А Цомпарисон оф тхе Баyесиан анд Фреqуентист Аппроацхес то Естиматион" Спрингер, Неw Yорк, ISBN 978-1-4419-5940-9

Спољашње везе

• Хазеwинкел Мицхиел, ур. (2001). „Баyесиан аппроацх то статистицал проблемс”. Енцyцлопаедиа оф Матхематицс. Спрингер. ISBN 978-1556080104. 
• Bayesian Statistics from Scholarpedia.
• Introduction to Bayesian probability from Queen Mary University of London
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo
• Bayesian reading list Архивирано на сајту Wayback Machine (25. јун 2011), categorized and annotated by Tom Griffiths
• A. Hajek and S. Hartmann: Bayesian Epistemology, in: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106.
• S. Hartmann and J. Sprenger: Bayesian Epistemology, in: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609-620.
• Stanford Encyclopedia of Philosophy: "Inductive Logic"
• Bayesian Confirmation Theory
• What Is Bayesian Learning?
• Data, Uncertainty and Inference An introduction to Bayesian inference and MCMC with a lot of examples fully explained. (free ebook)