Процена максималне вероватноће

У статистици, процена максималне вероватноће (енгл. maximum likelihood estimation - MLE) метод је процењивања параметара расподеле вероватноће максимизовањем функције вероватноће, тако да су по претпостављеном статистичком моделу уочени подаци највероватнији. Тачка у параметарском простору која максимизира функцију вероватноће назива се проценом максималне вероватноће. Логика максималне вероватноће је интуитивна и флексибилна, и као таква метода је постала доминантно средство статистичког закључивања.

Ако је функција вероватноће диференцијабилна, може се применити дериватни тест за одређивање максима. У неким случајевима се услови првог реда функције вероватноће могу експлицитно решити; на пример, процењивач обичних најмањих квадрата максимизира вероватноћу линеарног регресионог модела. Међутим, у већини околности, нумеричке методе су неопходне да би се пронашао максимум функције вероватноће.

Са становишта Бајесовог закључивања, МЛЕ је посебан случај максималне постериорне процене (МАП) који претпоставља униформну приорну расподелу параметара. У фреквенционистичком закључивању, МЛЕ је посебан случај процењивача екстрема, чија је објективна функција вероватноћа.

Принципи

Са статистичког становишта, дати скуп запажања је случајни узорак из непознате популације. Циљ процене максималне вероватноће је да се изведу закључци о популацији из које је узорак највероватније генерисн, специфично о заједничкој расподели вероватноће случајних променљивих $\left\{y_{1},y_{2},\ldots \right\}$, које нису нужно независно и идентично дистрибуиране. Са сваком дистрибуцијом вероватноће повезан је јединствени вектор $\theta =\left[\theta _{1},\,\theta _{2},\ldots \,,\theta _{k}\right]^{\mathsf {T}}$ параметара који индексирају дистрибуцију вероватноће унутар породице параметара $\{f(\cdot \,;\theta )\mid \theta \in \Theta \}$, где се $\Theta$ назива простором параметара, који је коначно димензионални подскуп Еуклидског простора. Процена заједничке густине на посматраном узорку података $\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})$ даје реално-вредносну функцију,

$L_{n}(\theta )=L_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )$

која се назива функцијом вероватноће. За независне и идентично расподељене случајне променљиве, $f_{n}(\mathbf {y} ;\theta )$ ће бити производ униваријантних функција густине.

Циљ процене максималне вероватноће је да се пронађу вредности параметара модела које максимизирају функцију вероватноће у простору параметара, то јест

${\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\ {\widehat {L}}_{n}(\theta \,;\mathbf {y} )$

Интуитивно, овим се бирају вредности параметара које чине посматране податке највероватнијим. Специфична вредност ${\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta$ која максимизује функцију вероватноће $L_{n}$ се зове процена максималне вероватноће. Даље, ако је функција ${\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta$ тако дефинисана да је мерљива, онда се она назива процењивачем максималне вероватноће. То је генерално функција дефинисана над простором узорка, тј. она узима одређени узорк као свој аргумент. Довољан али не и неопходан услов за њено постојање је да функција вероватноће буде континуирана на параметарском простору $\Theta$ који је компактан. За отворено $\Theta$ функција вероватноће се може повећати без премашивања супремумске вредности.

У пракси је често прикладно радити с природним логаритамом функције вероватноће, званим логаритамска вероватноћа:

$\ell (\theta \,;\mathbf {y} )=\ln L_{n}(\theta \,;\mathbf {y} ).$

Пошто је логаритам монотона функција, максимум од $\ell (\theta \,;\mathbf {y} )$ се јавља на истој вредности $\theta$ као и максимум од $L_{n}$. Ако је $\ell (\theta \,;\mathbf {y} )$ диференцијабилно у $\theta$, потребни услови за појављивање максимума (или минимума) су

${\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0,$

што је познато као једначина вероватноће. За неке моделе, ове једначине могу се експлицитно решити за ${\widehat {\theta \,}}$, али генерално решења затвореног облика за проблеме максимизације нису позната или доступна, а МЛЕ се може пронаћи само нумеричком оптимизацијом. Још један проблем је што у коначним узорцима може постојати више корена за једначине вероватноће. Да ли је идентификовани корен ${\widehat {\theta \,}}$ једначине вероватноће заиста (локални) максимум, зависи од тога да ли је матрица другог реда парцијалних и унакрсно парцијалних деривата,

$\mathbf {H} ({\widehat {\theta \,}})={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}},$

позната као Хесијан негативно полудефинитивна у ${\widehat {\theta \,}}$, што даје индикацију о постојању локалне конкавности. Повољно је да су најчешће расподеле вероватноће - нарочито експоненцијална породица - логаритамски конкавне.

Литература

• Црамер, Ј. С. (1986). Ецонометриц Апплицатионс оф Маxимум Ликелихоод Метходс. Неw Yорк: Цамбридге Университy Пресс. ИСБН 978-0-521-25317-8. 
• Елиасон, Сцотт Р. (1993). Маxимум Ликелихоод Естиматион : Логиц анд Працтице. Неwбурy Парк: Саге. ИСБН 978-0-8039-4107-6. 
• Кинг, Гарy (1989). Унифyинг Политицал Метходологy : тхе Ликехоод Тхеорy оф Статистицал Инференце. Цамбридге Университy Пресс. ИСБН 978-0-521-36697-7. 
• Ле Цам, Луциен (1990). „Маxимум ликелихоод : Ан Интродуцтион”. ИСИ Ревиеw. 58 (2): 153—171. ЈСТОР 1403464. 
• Магнус, Јан Р. (2017). „Маxимум Ликелихоод”. Интродуцтион то тхе Тхеорy оф Ецонометрицс. Амстердам: ВУ Университy Пресс. стр. 53—68. ИСБН 978-90-8659-766-6. 
• Миллар, Русселл Б. (2011). Маxимум Ликелихоод Естиматион анд Инференце. Хобокен: Wилеy. ИСБН 978-0-470-09482-2. 
• Пицклес, Андреw (1986). Ан Интродуцтион то Ликелихоод Аналyсис. Норwицх: W. Х. Хутцхинс & Сонс. ИСБН 978-0-86094-190-3. 
• Северини, Тхомас А. (2000). Ликелихоод Метходс ин Статистицс. Неw Yорк: Оxфорд Университy Пресс. ИСБН 978-0-19-850650-8. 
• Wард, Мицхаел D.; Ахлqуист, Јохн С. (2018). Маxимум Ликелихоод фор Социал Сциенце : Стратегиес фор Аналyсис. Цамбридге Университy Пресс. ИСБН 978-1-316-63682-4. 
• Едгеwортх, Ф. Y. (јун 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (2): 381—397. ЈСТОР 2339461. дои:10.2307/2339461. 
• Едгеwортх, Ф. Y. (септембар 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс (Цонтд.)”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (3): 499—512. ЈСТОР 2339293. дои:10.2307/2339293. 
• Едгеwортх, Ф. Y. (децембар 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс (Цонтд.)”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (4): 651—678. ЈСТОР 2339378. дои:10.2307/2339378. 
• Фриеден, Б. Р.. Сциенце фром Фисхер Информатион: А Унифицатион. Цамбридге Университy Пресс. 2004. ISBN 978-0-521-00911-9..
• Фриеден, Б. Роy; Гатенбy, Роберт А. (2013). „Принципле оф маxимум Фисхер информатион фром Хардy'с аxиомс апплиед то статистицал сyстемс”. Пхyсицал Ревиеw Е. 88 (4): 042144. Бибцоде:2013ПхРвЕ..88д2144Ф. ПМИД 24229152. арXив:1405.0007 . дои:10.1103/ПхyсРевЕ.88.042144. 
• Халд, А. (мај 1999). „Он тхе Хисторy оф Маxимум Ликелихоод ин Релатион то Инверсе Пробабилитy анд Леаст Сqуарес”. Статистицал Сциенце. 14 (2): 214—222. ЈСТОР 2676741. дои:10.1214/сс/1009212248. 
• Халд, А. (1998). А Хисторy оф Матхематицал Статистицс фром 1750 то 1930. Неw Yорк: Wилеy. ИСБН 978-0-471-17912-2. 
• Лехманн, Е. L.; Цаселла, Г. (1998). Тхеорy оф Поинт Естиматион (2нд изд.). Спрингер. ИСБН 978-0-387-98502-2. 
• Ле Цам, Луциен (1986). Асyмптотиц Метходс ин Статистицал Децисион Тхеорy. Спрингер-Верлаг. ИСБН 978-0-387-96307-5. 
• Пратт, Јохн W. (мај 1976). „Ф. Y. Едгеwортх анд Р. А. Фисхер он тхе Еффициенцy оф Маxимум Ликелихоод Естиматион”. Анналс оф Статистицс. 4 (3): 501—514. ЈСТОР 2958222. дои:10.1214/аос/1176343457. 
• Саваге, L. Ј. (мај 1976). „Он Ререадинг Р. А. Фисхер”. Анналс оф Статистицс. 4 (3): 441—500. ЈСТОР 2958221. дои:10.1214/аос/1176343456. 
• Сцхервисх, Марк Ј. (1995). Тхеорy оф Статистицс. Неw Yорк: Спрингер. ИСБН 978-0-387-94546-0. 
• Стиглер, С. M. (1986). Тхе Хисторy оф Статистицс: Тхе Меасуремент оф Унцертаинтy бефоре 1900. Харвард Университy Пресс. ИСБН 978-0-674-40340-6. 
• Стиглер, С. M. (1978). „Францис Yсидро Едгеwортх, Статистициан”. Јоурнал оф тхе Роyал Статистицал Социетy, Сериес А. 141 (3): 287—322. ЈСТОР 2344804. дои:10.2307/2344804. 
• Стиглер, С. M. (1999). Статистицс он тхе Табле: Тхе Хисторy оф Статистицал Цонцептс анд Метходс. Харвард Университy Пресс. ИСБН 978-0-674-83601-3. 
• Ван Треес, Х. L. (1968). Детецтион, Естиматион, анд Модулатион Тхеорy, Парт I. Неw Yорк: Wилеy. ИСБН 978-0-471-09517-0. 

Спољашње везе

• Хазеwинкел Мицхиел, ур. (2001). „Маxимум-ликелихоод метход”. Енцyцлопаедиа оф Матхематицс. Спрингер. ISBN 978-1556080104. 
• Пурцелл, С. „Маxимум Ликелихоод Естиматион”. Архивирано из оригинала 27. 10. 2019. г. Приступљено 23. 12. 2019. 
• Саргент, Тхомас; Стацхурски, Јохн. „Маxимум Ликелихоод Естиматион”. Qуантитативе Ецономицс wитх Пyтхон. Архивирано из оригинала 21. 06. 2019. г. Приступљено 23. 12. 2019. 
• Тоомет, Отт; Хеннингсен, Арне (19. 5. 2019). „маxЛик: А пацкаге фор маxимум ликелихоод естиматион ин Р”.