Logistička regresija

U teoriji verovatnoće i statistici, logistička raspodela je kontinuirana raspodela verovatnoće . Njegova kumulativna funkcija raspodele je logistička funkcija, koja se pojavljuje u logističkoj regresiji i napajanju neuronskim mrežama . Oblikom podseća na normalnu raspodelu, ali ima teže repove (veći kurtozis, izduženost). Logistička raspodela je zapravo poseban slučaj Tukey-eve lambda raspodele .

Specifikacija[uredi | uredi izvor]

Funkcija gustine verovatnoće[uredi | uredi izvor]

Kada je parametar lokacije $μ$ = 0 i parametar razmere $s$ = 1, onda je funkcija gustine verovatnoće logističke distribucije data sa:

{\begin{aligned}f(x;0,1)&={\frac {e^{-x}}{(1+e^{-x})^{2}}}\\[4pt]&={\frac {1}{(e^{x/2}+e^{-x/2})^{2}}}\\[5pt]&={\frac {1}{4}}\operatorname {sech} ^{2}\left({\frac {x}{2}}\right).\end{aligned}}

Dakle, generalno govoreći, gustina je dobijena na sledeći način:

{\begin{aligned}f(x;\mu ,s)&={\frac {e^{-(x-\mu )/s}}{s\left(1+e^{-(x-\mu )/s}\right)^{2}}}\\[4pt]&={\frac {1}{s\left(e^{(x-\mu )/(2s)}+e^{-(x-\mu )/(2s)}\right)^{2}}}\\[4pt]&={\frac {1}{4s}}\operatorname {sech} ^{2}\left({\frac {x-\mu }{2s}}\right).\end{aligned}}

Pošto se ova funkcija može izraziti u kvadratnom obliku hiperboličke sekans funkcije "sech", ponekad se naziva sech-kvadrirana distribucija. ^[1] (Takođe možete pogledati i: Sekans hiperbolični).

Funkcija kumulativne distribucije[uredi | uredi izvor]

Logistička distribucija je dobila ime po funkciji kumulativne distribucije, koja je primer koji pripada porodici logističkih funkcija. Kumulativna funkcija distribucije logističke distribucije je takođe skalirana verzija hiperboličke tangente.

F(x;\mu ,s)={\frac {1}{1+e^{-(x-\mu )/s}}}={\frac {1}{2}}+{\frac {1}{2}}\operatorname {tanh} \left({\frac {x-\mu }{2s}}\right).

U ovoj jednačini $μ$ je srednja vrednost, a $s$ je parametar skaliranja koji je proporcionalan standardnoj devijaciji.

Kvantilna funkcija[uredi | uredi izvor]

Inverzna kumulativna funkcija raspodele ( kvantilna funkcija ) logističke raspodele je generalizacija logit ( eng. logit ) funkcije. Njen derivat predstavlja kvantilna funkcija gustine. Oni su definisani na sledeći način:

Q(p;\mu ,s)=\mu +s\ln \left({\frac {p}{1-p}}\right).

Q'(p;s)={\frac {s}{p(1-p)}}.

Alternativna parametrizacija[uredi | uredi izvor]

Alternativna parametrizacija logističke distribucije može da se izvede izražavanjem parametra koji skalira, $s$ , u odnosu na standardne devijacije, $\sigma$ , koristeći zamenu $s\,=\,q\,\sigma$ , gde je $q\,=\,{\sqrt {3}}/{\pi }\,=\,0.551328895\ldots$ . Alternativni oblici gore navedenih funkcija su sa razlogom prilično jasni i direktni.

Aplikacije[uredi | uredi izvor]

Logistička raspodela — i obrazac u obliku slova S kumulativne funkcije raspodele ( logistička funkcija ) i kvantilne funkcije ( logit funkcija ) — se u velikoj meri koriste u mnogim različitim oblastima.

Logistička regresija[uredi | uredi izvor]

Jedna od najšire korišćenih primena je u logističkoj regresiji, koja se koristi za modeliranje kategoričkih zavisnih promenljivih (npr. odabir da ili ne ili odabir koji ima 3 ili 4 mogućnosti), kao što se standardna linearna regresija koristi za modeliranje kontinuiranih promenljivih (npr. koristi se za prihode ili stanovništvo). Konkretno, modeli logističke regresije se mogu formulisati kao modeli latentne promenljive sa promenljivim greškama koje prate logističku raspodelu. Ova fraza je uobičajena u teoriji modela diskretnog izbora, gde logistička distribucija igra istu ulogu u logističkoj regresiji kao normalna distribucija u probit ( eng. Probit ) regresiji . Logistička i normalna distribucija zaista imaju prilično sličan oblik. Međutim, logistička distribucija ima teže repove, što često povećava robusnost analiza zasnovanih na njoj u poređenju sa korišćenjem normalne distribucije.

Stanje[uredi | uredi izvor]

PDF ove distribucije ima identičan funkcionalni oblik kao i izvod Fermijeve funkcije . U teoriji svojstava elektrona u poluprovodnicima i metalima, ovaj derivat služi za određivanje relativne težine različitih energija elektrona koje su vezane za njihov doprinos u transportu elektrona. Oni nivoi energije čije su energije najbliže „srednjoj vrednosti“ distribucije ( Fermijevi nivoi ) dominiraju procesima kao što je elektronska provodljivost, sa izvesnim mrljama izazvanim temperaturom. ^[2] ^‍:34 Međutim, imajte na umu da je odgovarajuća raspodela verovatnoće u Fermi–Dirakovoj statistici zapravo jednostavna Bernulijeva raspodela, sa faktorom verovatnoće koja je data Fermijevom funkcijom.

Logistička raspodela nastaje kao granična raspodela prigušenog nasumičnog kretanja konačne brzine koja je opisana telegrafskim procesom u kome nasumična vremena između uzastopnih promena brzine imaju nezavisne eksponencijalne raspodele sa linearno rastućim parametrima. ^[3]

Hidrologija[uredi | uredi izvor]

U hidrologiji se da je raspodela dugotrajnog proticanja reke i padavina (npr. mesečni i godišnji ukupni iznosi koji se sastoje od zbira 30 odnosno 360 dnevnih vrednosti) često smatra skoro normalnom u skladu sa centralnom graničnom teoremom . ^[4] Normalna raspodela, međutim, zahteva numeričku aproksimaciju. Pošto je logistička raspodela, koja se može rešiti analitički, slična normalnoj raspodeli, može se koristiti umesto nje. Plava slika ilustruje primer prilagođavanja logističke distribucije na rangirane oktobarske padavine — koje su skoro normalno raspoređene — i pokazuje pojas pouzdanosti od 90% zasnovan na binomnoj raspodeli . Podaci o padavinama su predstavljeni iscrtavanjem pozicija kao deo analize kumulativne frekvencije .

Šahovske ocene[uredi | uredi izvor]

Šahovska federacija Sjedinjenih Država i FIDE su promenile svoju formulu za izračunavanje rejtinga šaha sa normalne distribucije na logističku distribuciju; više pročitajte na članku o Elo sistemu ocenjivanja (zasnovan je na normalnoj distribuciji).

Povezane distribucije[uredi | uredi izvor]

Logistička distribucija imitira sech distribuciju .
Ako je $X\sim \mathrm {Logistic} (\mu ,s)$ onda važi da je $kX+\ell \sim \mathrm {Logistic} (k\mu +\ell ,|k|s)$ .
Ako je $X\sim$ U(0, 1) onda važi da je $\mu +s(\log X-\log(1-X))\sim \mathrm {Logistic} (\mu ,s)$ .
Ako je $X\sim \mathrm {Gumbel} (\mu _{X},\beta )$ i $Y\sim \mathrm {Gumbel} (\mu _{Y},\beta )$ odvojeno tada $X-Y\sim \mathrm {Logistic} (\mu _{X}-\mu _{Y},\beta )\,$ .
Ako je $X$ i $Y\sim \mathrm {Gumbel} (\mu ,\beta )$ onda važi da je $X+Y\nsim \mathrm {Logistic} (2\mu ,\beta )\,$ (Zbir ne predstavlja logističku raspodelu). Napomenuti da je $E(X+Y)=2\mu +2\beta \gamma \neq 2\mu =E\left(\mathrm {Logistic} (2\mu ,\beta )\right)$ .
Ako je X ~ Logistic(μ, s) onda je exp(X) ~ LogLogistic $\left(\alpha =e^{\mu },\beta ={\frac {1}{s}}\right)$ , iexp(X) + γ ~ shifted log-logistic $\left(\alpha =e^{\mu },\beta ={\frac {1}{s}},\gamma \right)$ .
Ako je Ks ~ Eksponencijalni(1) onda važi da je

\mu +s\log(e^{X}-1)\sim \operatorname {Logistic} (\mu ,s).

Ako je X, Y ~ Exponential(1) onda važi da je

\mu -s\log \left({\frac {X}{Y}}\right)\sim \operatorname {Logistic} (\mu ,s).

Metalog raspodela je generalizacija logističke raspodele, u kojoj se proširuje niz stepena u smislu $p$ koji su zamenjeni logističkim parametrima $\mu$ i $\sigma$ . Rezultujuća funkcija metalog kvantila ima veoma fleksibilan oblik, ima jednostavnu zatvorenu formu i može se uklopiti u podatke sa linearno najmanjim kvadratima.

Derivacije[uredi | uredi izvor]

Trenuci višeg reda[uredi | uredi izvor]

Centralni moment n -tog reda se može izraziti u jednačinama kvantilne funkcije:

{\begin{aligned}\operatorname {E} [(X-\mu )^{n}]&=\int _{-\infty }^{\infty }(x-\mu )^{n}\,dF(x)\\&=\int _{0}^{1}{\big (}Q(p)-\mu {\big )}^{n}\,dp=s^{n}\int _{0}^{1}\left[\ln \!\left({\frac {p}{1-p}}\right)\right]^{n}\,dp.\end{aligned}}

Ovaj integral je vrlo dobro poznat ^[5] i može da se izrazi u jednačinama Bernulijevih brojeva :

\operatorname {E} [(X-\mu )^{n}]=s^{n}\pi ^{n}(2^{n}-2)\cdot |B_{n}|.

Vidi još[uredi | uredi izvor]

generalizovana logistička distribucija
Tukey-eva lambda distribucija
log-logistička distribucija
polulogistička distribucija
logistička regresija
sigmoidna funkcija

^ Johnson, Kotz & Balakrishnan (1995, p.116).
^ Davies, John H. (1998). The Physics of Low-dimensional Semiconductors: An Introduction. Cambridge University Press. ISBN 9780521484916.
^ A. Di Crescenzo, B. Martinucci (2010) "A damped telegraph random process with logistic stationary distribution", J. Appl. Prob., vol. 47, pp. 84–96.
^ Ritzema, H.P., ur. (1994). Frequency and Regression Analysis. Chapter 6 in: Drainage Principles and Applications, Publication 16, International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands. str. 175–224. ISBN 90-70754-33-9.
^ A001896

Reference[uredi | uredi izvor]

John S. deCani; Robert A. Stine (1986). „A note on deriving the information matrix for a logistic distribution”. The American Statistician. American Statistical Association. 40: 220—222. doi:10.2307/2684541.
N., Balakrishnan (1992). Handbook of the Logistic Distribution. Marcel Dekker, New York. ISBN 0-8247-8587-8.
Johnson, N. L.; Kotz, S.; N., Balakrishnan (1995). Continuous Univariate Distributions. Vol. 2 (2nd izd.). ISBN 0-471-58494-0.

Modis, Teodor (1992) Predviđanja: potpis društva otkriva prošlost i predviđa budućnost, Simon & Šuster, Njujork. ISBN 0-671-75917-5.

Šablon:ProbDistributions

[1] Johnson, Kotz & Balakrishnan (1995, p.116).

[2] Davies, John H. (1998). The Physics of Low-dimensional Semiconductors: An Introduction. Cambridge University Press. ISBN 9780521484916.

[3] A. Di Crescenzo, B. Martinucci (2010) "A damped telegraph random process with logistic stationary distribution", J. Appl. Prob., vol. 47, pp. 84–96.

[4] Ritzema, H.P., ur. (1994). Frequency and Regression Analysis. Chapter 6 in: Drainage Principles and Applications, Publication 16, International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands. str. 175–224. ISBN 90-70754-33-9.

[5] A001896

[1]

[2]

[3]

[4]

[5]