Multivarijantna normalna raspodela

Multivarijantna normalna raspodela

Funkcija gustine verovatnoće Mnogštvo uzoraka sa multivarijantnom normalnom distribucijom sa ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ i ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, prikazani zajedno sa 3-sigma elipse, dve marginalne distribucije, i dva 1-d histograma.
Notacija	${\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$
Parametri	μ ∈ Rk — lokacija Σ ∈ Rk × k — kovarijansa (pozitivna poludefinitivna matrica)
Nositelj	x ∈ μ + span(Σ) ⊆ Rk
PDF	$(2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},$ postoji samo kad je Σ positivna-definitivna
Prosek	μ
Modus	μ
Varijansa	Σ
Entropija	${\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)$
MGF	$\exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
CF	$\exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
Kulbek-Lajblerova divergencija	pogledajte ispod

U teoriji verovatnoće i statistici, multivarijantna normalna raspodela, multivarijantna Gausova raspodela, ili zajednička normalna raspodela je generalizacija jednodimenzionalne (univarijantne) normalne distribucije na više dimenzija. Jedna definicija je da se randomni vektor smatra k-varijantno normalno distribuiranim ako svaka linearna kombinacija njegovih k komponenata ima univarijantnu normalnu distribuciju. Njen značaj proističe uglavnom iz multivarijantne centralne granične teoreme. Multivarijantna normalna distribucija često se koristi za opisivanje, barem aproksimativno, bilo kojeg skupa (mogućih) korelisanih realno-vrednosnih radomnih promenljivih, od kojih se svaka grupiše oko srednje vrednosti.

Notacija i parametrizacija

Multivarijantna normalna distribucija k-dimenzionalnog randomnog vektora $\mathbf {X} =(X_{1},\ldots ,X_{k})$ može se zapisati na sledeći način:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

ili da se naglasi da je X k-dimenziono,

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

sa k-dimenzionim srednjim vektorom

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),$

i $k\times k$ kovarijantnom matricom

$\Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

takvom da $1\leq i,j\leq k.$ Inverzna matrica kovarijantne matrice se zove matrica preciznosti i označava se sa ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$.

Definicije

Standardni normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove standardni normalni randomni vektor ako su sve njegove komponente $X_{n}$ nezavisne i svaka je normalno distribuirana randomna promenljiva sa nultom srednjom vrednosti i jediničnom varijansom, i.e. ako $X_{n}\sim \ {\mathcal {N}}(0,1)$ za svako $n$.

Centrirani normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove centrirani normalni randomni vektor ako postoji deterministička $k\times \ell$ matrica ${\boldsymbol {A}}$ takva da ${\boldsymbol {A}}\mathbf {Z}$ ima istu distribuciju kao $\mathbf {X}$ gde je $\mathbf {Z}$ standardni normalni randomni vektor sa $\ell$ komponenata.

Normalni randomni vektor

Realni randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ se zove normalni randomni vektor ako postoji randomni $\ell$-vektor $\mathbf {Z}$, koji je standardni normalni randomni vektor, $k$-vektor $\mathbf {\mu }$, i $k\times \ell$ matrica ${\boldsymbol {A}}$, takva da je $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu }$.

Formalno:

$\mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

Kovarijantna matrica je ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$.

U degenerativnom slučaju gde je kovarijantna matrica singularna, korespondirajuća distribucija nema gustinu. Ovaj slučaj se često pojavljuje u statistici; na primer, u raspodeli vektora reziduala u regresiji običnih najmanjih kvadrata. Takođe treba imati na umu da $X_{i}$ uglavnom nisu nezavisni; oni se mogu videti kao rezultat primene matrice ${\boldsymbol {A}}$ na kolekciju nezavisnih Gausovih promenljivih $\mathbf {Z}$.

Ekvivalentne definicije

Sledeće definicije su ekvivalentne sa gornjom definicijom. Randomni vektor $\mathbf {X} =(X_{1},\ldots ,X_{k})^{T}$ ima multivarijatnu normalnu distribuciju ako zadovoljava jedan od sledećih uslova.

• Svaka linearna kombinacija $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ njegovih komponenti je normalno distribuirana. Drugim rečima, za svaki konstantni vektor $\mathbf {a} \in \mathbb {R} ^{k}$, randomna promenljiva $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ ima univarijatnu normalnu distribuciju, gde je univarijatna normalna distribucija sa nultom varijansom tačka mase na svojoj srednjoj vrednosti.
• Postoji k-vektor $\mathbf {\mu }$ i simetrična, pozitivna poludefinitivna $k\times k$ matrica ${\boldsymbol {\Sigma }}$, takva da karakteristična funkcija od $\mathbf {X}$ je

$\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$

Sferina normalna distribucija može da bude karakterisana kao jedinstvena distribucija, pri čemu su komponente nezavisne u svakom ortogonalnom koordinatnom sistemu.

Literatura

• Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley. 
• Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. ISBN 978-1-4613-9657-4. doi:10.1007/978-1-4613-9655-0.