Procena maksimalne verovatnoće

Из Википедије, слободне енциклопедије
Иди на навигацију Иди на претрагу

U statistici, procena maksimalne verovatnoće (engl. maximum likelihood estimation - MLE) metod je procenjivanja parametara raspodele verovatnoće maksimizovanjem funkcije verovatnoće, tako da su po pretpostavljenom statističkom modelu uočeni podaci najverovatniji. Tačka u parametarskom prostoru koja maksimizira funkciju verovatnoće naziva se procenom maksimalne verovatnoće.[1] Logika maksimalne verovatnoće je intuitivna i fleksibilna, i kao takva metoda je postala dominantno sredstvo statističkog zaključivanja.[2][3][4]

Ako je funkcija verovatnoće diferencijabilna, može se primeniti derivatni test za određivanje maksima. U nekim slučajevima se uslovi prvog reda funkcije verovatnoće mogu eksplicitno rešiti; na primer, procenjivač običnih najmanjih kvadrata maksimizira verovatnoću linearnog regresionog modela.[5] Međutim, u većini okolnosti, numeričke metode su neophodne da bi se pronašao maksimum funkcije verovatnoće.

Sa stanovišta Bajesovog zaključivanja, MLE je poseban slučaj maksimalne posteriorne procene (MAP) koji pretpostavlja uniformnu priornu raspodelu parametara. U frekvencionističkom zaključivanju, MLE je poseban slučaj procenjivača ekstrema, čija je objektivna funkcija verovatnoća.

Principi[уреди]

Sa statističkog stanovišta, dati skup zapažanja je slučajni uzorak iz nepoznate populacije. Cilj procene maksimalne verovatnoće je da se izvedu zaključci o populaciji iz koje je uzorak najverovatnije generisn,[6] specifično o zajedničkoj raspodeli verovatnoće slučajnih promenljivih , koje nisu nužno nezavisno i identično distribuirane. Sa svakom distribucijom verovatnoće povezan je jedinstveni vektor parametara koji indeksiraju distribuciju verovatnoće unutar porodice parametara , gde se naziva prostorom parametara, koji je konačno dimenzionalni podskup Euklidskog prostora. Procena zajedničke gustine na posmatranom uzorku podataka daje realno-vrednosnu funkciju,

koja se naziva funkcijom verovatnoće. Za nezavisne i identično raspodeljene slučajne promenljive, će biti proizvod univarijantnih funkcija gustine.

Cilj procene maksimalne verovatnoće je da se pronađu vrednosti parametara modela koje maksimiziraju funkciju verovatnoće u prostoru parametara,[6] to jest

Intuitivno, ovim se biraju vrednosti parametara koje čine posmatrane podatke najverovatnijim. Specifična vrednost koja maksimizuje funkciju verovatnoće se zove procena maksimalne verovatnoće. Dalje, ako je funkcija tako definisana da je merljiva, onda se ona naziva procenjivačem maksimalne verovatnoće. To je generalno funkcija definisana nad prostorom uzorka, tj. ona uzima određeni uzork kao svoj argument. Dovoljan ali ne i neophodan uslov za njeno postojanje je da funkcija verovatnoće bude kontinuirana na parametarskom prostoru koji je kompaktan.[7] Za otvoreno funkcija verovatnoće se može povećati bez premašivanja supremumske vrednosti.

U praksi je često prikladno raditi s prirodnim logaritamom funkcije verovatnoće, zvanim logaritamska verovatnoća[8]:

Pošto je logaritam monotona funkcija, maksimum od se javlja na istoj vrednosti kao i maksimum od .[9] Ako je diferencijabilno u , potrebni uslovi za pojavljivanje maksimuma (ili minimuma) su

što je poznato kao jednačina verovatnoće. Za neke modele, ove jednačine mogu se eksplicitno rešiti za , ali generalno rešenja zatvorenog oblika za probleme maksimizacije nisu poznata ili dostupna, a MLE se može pronaći samo numeričkom optimizacijom. Još jedan problem je što u konačnim uzorcima može postojati više korena za jednačine verovatnoće.[10] Da li je identifikovani koren jednačine verovatnoće zaista (lokalni) maksimum, zavisi od toga da li je matrica drugog reda parcijalnih i unakrsno parcijalnih derivata,

poznata kao Hesijan negativno poludefinitivna u , što daje indikaciju o postojanju lokalne konkavnosti. Povoljno je da su najčešće raspodele verovatnoće - naročito eksponencijalna porodica - logaritamski konkavne.[11][12]

Reference[уреди]

  1. ^ Rossi, Richard J. (2018). Mathematical Statistics : An Introduction to Likelihood Based Inference. New York: John Wiley & Sons. стр. 227. ISBN 978-1-118-77104-4. 
  2. ^ Hendry, David F.; Nielsen, Bent (2007). Econometric Modeling: A Likelihood Approach. Princeton: Princeton University Press. ISBN 978-0-691-13128-3. 
  3. ^ Chambers, Raymond L.; Steel, David G.; Wang, Suojin; Welsh, Alan (2012). Maximum Likelihood Estimation for Sample Surveys. Boca Raton: CRC Press. ISBN 978-1-58488-632-7. 
  4. ^ Ward, Michael Don; Ahlquist, John S. (2018). Maximum Likelihood for Social Science : Strategies for Analysis. New York: Cambridge University Press. ISBN 978-1-107-18582-1. 
  5. ^ Press, W. H.; Flannery, B. P.; Teukolsky, S. A.; Vetterling, W. T. (1992). „Least Squares as a Maximum Likelihood Estimator”. Numerical Recipes in FORTRAN: The Art of Scientific Computing (2nd изд.). Cambridge: Cambridge University Press. стр. 651—655. ISBN 978-0-521-43064-7. 
  6. 6,0 6,1 Myung, I. J. (2003). „Tutorial on Maximum Likelihood Estimation”. Journal of Mathematical Psychology. 47 (1): 90—100. doi:10.1016/S0022-2496(02)00028-7. 
  7. ^ Gourieroux, Christian; Monfort, Alain (1995). Statistics and Econometrics Models. Cambridge University Press. стр. 161. ISBN 978-0-521-40551-5. 
  8. ^ Log-likelihood
  9. ^ Kane, Edward J. (1968). Economic Statistics and EconometricsНеопходна слободна регистрација. New York: Harper & Row. стр. 179. ISBN. 
  10. ^ Small, Christoper G.; Wang, Jinfang (2003). „Working with Roots”. Numerical Methods for Nonlinear Estimating Equations. Oxford University Press. стр. 74—124. ISBN 978-0-19-850688-1. 
  11. ^ Kass, Robert E.; Vos, Paul W. (1997). Geometrical Foundations of Asymptotic Inference. New York: John Wiley & Sons. стр. 14. ISBN 978-0-471-82668-2. 
  12. ^ Papadopoulos, Alecos (25. 9. 2013). „Why we always put log() before the joint pdf when we use MLE (Maximum likelihood Estimation)?”. Stack Exchange. 

Literatura[уреди]

Spoljašnje veze[уреди]