Poasonova regresija

U statistici, Poasonova regresija je generalizovani linearni model forme regresione analize koji se koristi za modeliranje podataka o brojanju i tabela kontingentnosti. Poasonova regresija pretpostavlja da odgovor promenljive Y ima Poasonovau raspodelu i pretpostavlja da se logaritam njene očekivane vrednosti može modelovati linearnom kombinacijom nepoznatih parametara. Model Poasonove regresije je ponekad poznat kao log-linearni model, posebno kada se koristi za modeliranje tabela nepredviđenih okolnosti.

Negativna binomna regresija je popularna generalizacija Poasonove regresije jer olakšava veoma restriktivnu pretpostavku da je varijansa jednaka srednjoj vrednosti koju daje Poasonov model. Tradicionalni model negativne binomne regresije, poznatiji kao NB2, zasniva se na Poasono-gama raspodeli smeše. Ovaj model je popularan jer modelira Poasonovu heterogenost sa gama raspodelom.

Modeli Poasonove regresije su generalizovani linearni modeli sa logaritmom kao (kanonskom) funkcijom veze i funkcijom Poasonove raspodele kao pretpostavljenom distribucijom verovatnoće odgovora.

Regresioni modeli

Ako je $\mathbf {x} \in \mathbb {R} ^{n}$ vektor nezavisnih promenljivih, tada model poprima oblik:

$\log(\operatorname {E} (Y\mid \mathbf {x} ))=\alpha +\mathbf {\beta } '\mathbf {x} ,$

gde je $\alpha \in \mathbb {R}$ i $\mathbf {\beta } \in \mathbb {R} ^{n}$. Ponekad je ovo napisano kompaktnije kao:

$\log(\operatorname {E} (Y\mid \mathbf {x} ))={\boldsymbol {\theta }}'\mathbf {x} ,\,$

gde je x sada ( n + 1)-dimenzionalni vektor koji se sastoji od n nezavisnih promenljivih povezanih sa brojem jedan. Ovde je θ jednostavno α povezano sa β.

Dakle, kada je dat model Poasonove regresije θ i ulazni vektor x, predviđena sredina pridružene Poasonove distribucije je data sa:

$\operatorname {E} (Y\mid \mathbf {x} )=e^{{\boldsymbol {\theta }}'\mathbf {x} }.\,$

Ako su Y_i nezavisna posmatranja sa odgovarajućim vrednostima x_i promenljivih prediktora, onda se θ može proceniti maksimalnom verovatnoćom. Procenama maksimalne verovatnoće nedostaje izraz zatvorenog oblika i mora se pronaći numeričkim metodama. Površina verovatnoće za Posonovu regresiju maksimalne verovatnoće je uvek konkavna, što čini Njutn-Rafsonovim ili druge metode zasnovanim na gradijentu odgovarajućim tehnikama procene.

Procena parametara zasnovana na maksimalnoj verovatnoći

S obzirom na skup parametara θ i ulazni vektor x, srednja vrednost predviđene Poasonove raspodele, kao što je gore navedeno, je data sa

$\lambda :=\operatorname {E} (Y\mid x)=e^{\theta 'x},\,$

i prema tome, funkcija mase verovatnoće Paosonove raspodele je data sa:

$p(y\mid x;\theta )={\frac {\lambda ^{y}}{y!}}e^{-\lambda }={\frac {e^{y\theta 'x}e^{-e^{\theta 'x}}}{y!}}$

Pretpostavimo sada da nam je dat skup podataka koji se sastoji od m vektora $x_{i}\in \mathbb {R} ^{n+1},\,i=1,\ldots ,m$, zajedno sa skupom od m vrednosti $y_{1},\ldots ,y_{m}\in \mathbb {N}$. Zatim, za dati skup parametara θ, verovatnoća postizanja ovog određenog skupa podataka je data sa

$p(y_{1},\ldots ,y_{m}\mid x_{1},\ldots ,x_{m};\theta )=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.$

Metodom maksimalne verovatnoće želimo da pronađemo skup parametara θ koji ovu verovatnoću čini što većom. Da bi se to uradilo, jednačina se prvo prepisuje kao funkcija verovatnoće u terminima θ :

$L(\theta \mid X,Y)=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.$

Imajte na umu da se izraz na desnoj strani zapravo nije promenio. Formulom u ovom obliku je obično teško uprostiti; umesto toga, koristi se log-verovatnoća :

$\ell (\theta \mid X,Y)=\log L(\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}-\log(y_{i}!)\right).$

Obratite pažnju da se parametri θ pojavljuju samo u prva dva člana svakog člana u sumiranju. Prema tome, s obzirom da nas zanima samo pronalaženje najbolje vrednosti za θ, možemo odbaciti yi! i jednostavno pisati

$\ell (\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}\right).$

Da bismo pronašli maksimum, moramo da rešimo jednačinu ${\frac {\partial \ell (\theta \mid X,Y)}{\partial \theta }}=0$ koja nema rešenje zatvorenog oblika. Međutim, negativna log verovatnoća, $-\ell (\theta \mid X,Y)$, je konveksna funkcija, tako da se standardne tehnike konveksne optimizacije, kao što je gradijentni spust, mogu primeniti da bi se pronašla optimalna vrednost θ.

Poasonova regresija u praksi

Poasonova regresija može biti prikladna kada je zavisna promenljiva broj, na primer, događaji kao što je dolazak telefonskog poziva u pozivni centar. Događaji moraju biti nezavisni u smislu da dolazak jednog poziva neće učiniti drugi manje ili više verovatnim, ali se podrazumeva da je verovatnoća po jedinici vremena događaja povezana sa kovarijantama kao što je doba dana.

„Izlaganje” i pomeraj

Posonovaa regresija takođe može biti prikladna za podatke o stopi, gde je stopa broj događaja podeljen nekom merom izloženosti te jedinice (određena jedinica posmatranja). Na primer, biolozi mogu da prebroje broj vrsta drveća u šumi: događaj bi bio posmatranje drveća, izloženost bi bila jedinica površine, a stopa bi bila broj vrsta po jedinici površine. Demografi mogu modelirati stope smrtnosti u geografskim oblastima kao broj umrlih podeljen sa brojem osoba-godina. Uopštenije, stope događaja se mogu izračunati kao događaji po jedinici vremena, što omogućava da se prozor posmatranja razlikuje za svaku jedinicu. U ovim primerima, izloženost je jedinica površine, osoba-godina i jedinica vremena. U Poasonovoj regresiji ovo se obrađuje kao pomak, gde promenljiva izloženosti ulazi na desnu stranu jednačine, ali sa procenom parametra (za log(ekspoziciju)) ograničenom na 1.

$\log(\operatorname {E} (Y\mid x))=\log({\text{exposure}})+\theta 'x$

što implicira:

$\log(\operatorname {E} (Y\mid x))-\log({\text{exposure}})=\log \left({\frac {\operatorname {E} (Y\mid x)}{\text{exposure}}}\right)=\theta 'x$

Pomak u slučaju GLM-a u R može se postići korišćenjem funkcije offset() :

glm(y ~ offset(log(exposure)) + x, family=poisson(link=log) )glm(y ~ offset(log(exposure)) + x, family=poisson(link=log) )

Prekomerna disperzija i nulta inflacija

Karakteristika Poasonove raspodele je da je njena srednja vrednost jednaka njenoj varijansi. U određenim okolnostima će se naći da je posmatrana varijansa veća od srednje vrednosti; ovo je poznato kao prevelika disperzija i ukazuje da model nije odgovarajući. Čest razlog je izostavljanje relevantnih objašnjavajućih promenljivih ili zavisnih zapažanja. Pod nekim okolnostima, problem prevelike disperzije se može rešiti korišćenjem procene kvazi verovatnoće ili negativne binomne raspodele.

Ver Hojf i Bouveng su opisali razliku između kvazi-Poasonove (takođe nazvane prekomerna disperzija sa kvazi-verovatnoćom) i negativnog binoma (ekvivalentnog gama-Poasonu) na sledeći način: Ako je E(Y) = μ, kvazi-Poasonov model pretpostavlja var(Y) = θμ dok gama-Poason pretpostavlja var(Y) = μ(1 + κμ), gde je θ parametar kvazi-Poasonove prekomerne disperzije, a κ parametar oblika negativne binomne raspodele. Za oba modela, parametri se procenjuju korišćenjem iterativno ponderisanih najmanjih kvadrata. Za kvazi-Poasonove težine su μ / θ. Za negativan binom, težine su μ /(1 + κμ ). Sa velikim μ i značajnom ekstra-Poasonovom varijacijom, negativne binomne težine su ograničene na 1/ κ. Ver Hojf i Bouveng su diskutovali o primeru gde su birali između njih dvoje crtanjem srednjih kvadrata reziduala u odnosu na srednju vrednost.

Još jedan uobičajeni problem sa Poasonovom regresijom je višak nula: ako postoje dva procesa na delu, jedan koji određuje da li postoje nula događaja ili bilo koji događaj, a Poasonov proces koji određuje koliko događaja ima, biće više nula nego što bi Poasonova regresija predvidela. Primer bi bila distribucija cigareta popušenih za sat vremena od strane članova grupe u kojoj su neki pojedinci nepušači.

Drugi generalizovani linearni modeli kao što je negativni binomni model ili model sa bez naduvavanja mogu bolje funkcionisati u ovim slučajevima.

Upotreba u analizi preživljavanja

Poasonova regresija stvara modele proporcionalnih opasnosti, jednu klasu analize preživljavanja : pogledajte modele proporcionalnih opasnosti za opise Koksovih modela.

Ekstenzije

Regulisana Poasonova regresija

Kada se procenjuju parametri za Poasonovu regresiju, obično se pokušavaju pronaći vrednosti za θ koje maksimiziuju verovatnoću izraza oblika

$\sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}})),$

gde je m broj primera u skupu podataka, i $p(y_{i};e^{\theta 'x_{i}})$ je funkcija mase verovatnoće Poasonove raspodele sa srednjom vrednosti postavljenom na $e^{\theta 'x_{i}}$. Regularizacija se može dodati ovom problemu optimizacije maksimizovanjem

$\sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}}))-\lambda \left\|\theta \right\|_{2}^{2},$

za neku pozitivnu konstantu $\lambda$. Ova tehnika, slična regresiji grebena, može smanjiti prekomerno učenje(overfitovanje).

Vidi još

• Model bez naduvavanja
• Poasonova raspodela
• Poasonov model sa fiksnim efektom

Literatura

• Cameron, A. C.; Trivedi, P. K. (1998). Regression analysis of count data. Cambridge University Press. ISBN 978-0-521-63201-0. 
• Christensen, Ronald (1997). Log-linear models and logistic regression. Springer Texts in Statistics (Second izd.). New York: Springer-Verlag. ISBN 978-0-387-98247-2. MR 1633357. 
• Gouriéroux, Christian (2000). „The Econometrics of Discrete Positive Variables: the Poisson Model”. Econometrics of Qualitative Dependent Variables. New York: Cambridge University Press. str. 270—83. ISBN 978-0-521-58985-7. 
• Greene, William H. (2008). „Models for Event Counts and Duration”. Econometric Analysis (8th izd.). Upper Saddle River: Prentice Hall. str. 906–944. ISBN 978-0-13-600383-0. 
• Hilbe, J. M. (2007). Negative Binomial Regression. Cambridge University Press. ISBN 978-0-521-85772-7. 
• Jones, Andrew M.; et al. (2013). „Models for count data”. Applied Health Economics. London: Routledge. str. 295—341. ISBN 978-0-415-67682-3. 
• Myers, Raymond H.; et al. (2010). „Logistic and Poisson Regression Models”. Generalized Linear Models With Applications in Engineering and the Sciences (Second izd.). New Jersey: Wiley. str. 176-183. ISBN 978-0-470-45463-3.