Zakon velikih brojeva

Ilustracija zakona velikih brojeva na primeru bacanja kocke. Ako se broj bacanja povećava, prosečna vrednost ishoda se približava vrednosti 3,5.

Zakon velikih brojeva (LLN) fundamentalna je teorema iz oblasti teorije verovatnoće i statistike. U svome najjednostavnijem obliku ovaj zakon tvrdi da se relativna verovatnoća slučajnog događaja približava verovatnoći ovog događaja kada se slučajni eksperiment ponavlja veliki broj puta. Formalnije, radi se o konvergenciji slučajne promenljive u „jakom“ (skoro sigurna konvergencija) i „slabom“ smislu (konvergencija verovatnoće).

LLN je važan, jer garantuje stabilne dugoročne rezultate za proseke nekih slučajnih događaja. Na primer, dok kazino može da izgubi novac u jednom okretanju ruleta, njegova zarada će težiti ka predvidljivom procentu tokom velikog broja okretaja. Svaki pobednički niz igrača će na kraju biti prevaziđen parametrima igre. Važno je da se zakon primenjuje (kao što naziv govori) samo kada se uzme u obzir veliki broj zapažanja. Ne postoji princip da će se mali broj zapažanja poklopiti sa očekivanom vrednošću ili da će niz jedne vrednosti odmah biti „uravnotežen” od strane drugih (pogledajte zabludu kockara).

LLN se odnosi samo na prosek. Stoga, dok je

$$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {X_{i}}{n}}={\overline {X}}$$

druge formule koje izgledaju slično nisu potvrđene, kao što je grubo odstupanje od „teorijskih rezultata“:

$$\sum _{i=1}^{n}X_{i}-n\times {\overline {X}}$$

ne samo da ne konvergira ka nuli kako n raste, već ima tendenciju da raste u apsolutnoj vrednosti kako se n povećava.

Primer: bacanje novčića

Verovatnoća da bačeni novčić pokaže pismo ili glavu iznosi ½. Što se više ponavlja ovaj eksperiment, to će biti verovatnije da će broj ishoda kada „padne glava“ (relativna verovatnoća ishoda „glava“), biti blizak vrednosti ½. Sa druge strane, vrlo je verovatno da će apsolutna razlika između broja ishoda „glava“ i polovine broja bacanja novčića rasti.

Postoji i ukorenjeno pogrešno shvatanje zakona velikih brojeva. Ovaj zakon ne tvrdi da će oni ishodi koji se do sada nisu pojavljivali, od sada pojavljivati češće da bi uravnotežili raspodelu verovatnoća. To je česta greška igrača ruleta i lotoa.

Neka je niz ishoda bacanja novčića: glava, grb, glava, glava. Ishod „glava“ se pojavio tri puta, a ishod „grb“ jedanput. „Glava“ se dakle pojavljivala sa relativnim učešćem ¾, dok je ova vrednost za „grb“ ¼. Posle novih 96 bacanja novčića ishod je bio 49 „grbova“ i 51 „glava“. Apsolutna razlika glava i grbova je posle 100 bacanja ostala ista i kao posle 4, ali je relativna razlika znatno smanjena. Tako dolazimo do definicije Zakona velikih brojeva – vrednost relativnog učešća $\textstyle {\frac {51}{100}}=0{,}51$ teži očekivanoj vrednosti 0,5.

Praktične implikacije

• Industrija osiguranja: Zakon velikih brojeva ima veliki praktični značaj za industriju osiguranja. On omogućava da se naprave dugoročne prognoze iznosa odštetnih zahteva. Što je veći broj osiguranih osoba i dobara, i ako se podrazumeva da su svi izloženi jednakom riziku, to je manji uticaj slučaja. Ovaj zakon, ipak, ne može da da nikakvu prognozu o tome ko će konkretno uložiti odštetni zahtev.
• Medicina: Kada se proučava efikasnost medicinskih tretmana, pomoću ovog zakona se mogu eliministai slučajni sporedni faktori.
• Prirodne nauke: Uticaj nesistematskih greški u merenju se smanjuje ponavljanjem merenja.
• Informatika: Postoje informatičke tehnike kod kojih se primenjuje ovaj zakon. Primer je računarstvo u oblaku.

Ograničenje

Prosek rezultata dobijenih iz velikog broja ispitivanja možda neće moći da konvergira u nekim slučajevima. Na primer, prosek od n rezultata uzetih iz Košijeve raspodele ili neke Paretove raspodele (α<1) neće konvergirati kako n postaje veće; razlog su teški repovi. Košijeva i Paretova raspodela predstavljaju dva slučaja: Košijeva raspodela nema očekivanje, dok je očekivanje Paretove raspodele (α<1) beskonačno. Jedan od načina da se generiše Košijev primer je gde su slučajni brojevi jednaki tangenti ugla ravnomerno raspoređeni između -90° i +90°. Medijana je nula, ali očekivana vrednost ne postoji, i zaista prosek od n takvih promenljivih ima istu distribuciju kao jedna takva promenljiva. On ne konvergira po verovatnoći ka nuli (ili bilo kojoj drugoj vrednosti) kako n ide ka beskonačnosti.

A ako pokušaja ugrađuje pristrasnost selekcije, tipičnu za ljudsko ekonomsko/racionalno ponašanje, zakon velikih brojeva ne pomaže u rešavanju pristrasnosti. Čak i ako se broj ispitivanja poveća, pristrasnost izbora ostaje.

Istorija

Difuzija je primer zakona velikih brojeva. U početku, na levoj strani barijere nalaze se molekuli rastvorenih materija (magentna linija) i ni jedan na desnoj strani. Pregrada se uklanja, i rastvor se difundira da popuni ceo kontejner.
Gore: Sa jednim molekulom, kretanje izgleda sasvim slučajno.
Sredina: Sa više molekula, jasno je prisutan trend gde rastvorena materija sve više i više uniformno ispunjava kontejner, ali postoje i slučajne fluktuacije.
Dole: Sa ogromnim brojem molekula rastvorene supstance (previše da se mogu videti), slučajnost je u suštini nestala: Čini se da rastvorak ide glatko i sistematski od područja visoke koncentracije do područja sa niskom koncentracijom. U realnim situacijama, hemičari mogu opisati difuziju kao deterministički makroskopski fenomen (pogledajte Fikove zakone), uprkos njene radomne prirode.

Italijanski matematičar Đirolamo Kardano (1501–1576) je bez dokaza izjavio da se tačnost empirijskih statistika povećava sa brojem pokušaja. Ovo je zatim formalizovano kao zakon velikih brojeva. Poseban oblik LLN (za binarnu slučajnu promenljivu) prvi je dokazao Jakob Bernuli. Bilo mu je potrebno više od 20 godina da razvije dovoljno rigorozan matematički dokaz koji je objavljen u njegovom Ars Conjectandi (Umetnost pretpostavljanja) 1713. On je to nazvao svojom „Zlatnom teoremom“, ali je postala opšte poznata kao „Bernulijeva teorema“. Ovo ne treba mešati sa Bernulijevim principom, nazvanom po nećaku Jakoba Bernulija Danijelu Bernuliju. Godine 1837, S. D. Poason ga je dalje opisao pod nazivom "la loi des grands nombres" („zakon velikih brojeva“). Od tada je bio poznat pod oba imena, ali se najčešće koristi „zakon velikih brojeva“.

Nakon što su Bernuli i Poason objavili svoje napore, drugi matematičari su takođe doprineli preciziranju zakona, uključujući Čebiševa, Markova, Borela, Kantelija, Kolmogorova i Kinčina. Markov je pokazao da se zakon može primeniti na slučajnu promenljivu koja nema konačnu varijansu pod nekom drugom slabijom pretpostavkom, a Kinčin je 1929. pokazao da ako se serija sastoji od nezavisnih identično raspoređenih slučajnih promenljivih, dovoljno je da očekivana vrednost postoji za slab zakon velikih brojeva da bude istinit. Ove dalje studije dovele su do dva istaknuta oblika LLN-a. Jedan se naziva „slabim” zakonom, a drugi „jakim” zakonom, u odnosu na dva različita načina konvergencije kumulativnog uzorka prema očekivanoj vrednosti; posebno, kao što je objašnjeno u nastavku, jak oblik implicira slab.

Forme

Postoje dve različite verzije zakona velikih brojeva koje su opisane u nastavku. Nazivaju se jakim zakonom velikih brojeva i slabim zakonom velikih brojeva. Naveden je slučaj gde je X₁, X₂, ... beskonačan niz nezavisnih i identično raspoređenih Lebegovih integrabilnih slučajnih promenljivih sa očekivanom vrednošću E(X₁) = E(X₂) = ... = µ, obe verzije zakon navode da prosek uzorka

$${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$$

konvergira očekivanoj vrednosti:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$$

(1)

(Lebegova integrabilnost X_j znači da očekivana vrednost E(X_j) postoji prema Lebegovoj integraciji i da je konačna. To ne znači da je pridružena mera verovatnoće apsolutno kontinuirana u odnosu na Lebegovu meru.)

Uvodni tekstovi verovatnoće često dodatno pretpostavljaju identičnu konačnu varijansu $\operatorname {Var} (X_{i})=\sigma ^{2}$ (za svako $i$) i nema korelacije između slučajnih promenljivih. U tom slučaju, varijansa proseka od n slučajnih promenljivih je

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

što se može koristiti za skraćivanje i pojednostavljenje dokaza. Ova pretpostavka o konačnoj varijansi nije neophodna. Velika ili beskonačna varijansa će učiniti konvergenciju sporijom, ali LLN ipak važi.

Međusobna nezavisnost slučajnih promenljivih može se zameniti nezavisnošću parova ili razmenljivošću u obe verzije zakona.

Razlika između jake i slabe verzije se odnosi na način konvergencije koji se utvrđuje. Za tumačenje ovih modova, pogledajte konvergenciju slučajnih promenljivih.

Slabi zakon velikih brojeva

Za niz slučajnih promenljivih $X_{1},X_{2},X_{3},\dots$ u ${\mathcal {L}}^{1}$ kaže se da zadovoljava slabi zakon velikih brojeva, kada za ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ i sve pozitivne brojeve $\varepsilon$ važi:

$\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}\right|>\varepsilon \right)=0$.

Postoji mnoštvo situacija u kojima se može primeniti Slabi zakon velikih brojeva. Na primer, on važi za niz slučajnih promenljivih $X_{1},X_{2},X_{3},\dots$ koje imaju konačne varijanse $\sigma _{1}^{2},\sigma _{2}^{2},\sigma _{3}^{2}\dots$, koje su ograničene zajedničkom gornjom granicom, i nisu međusobno korelisane: $\operatorname {Cov} (X_{i},X_{j})=0$ za $i\neq j$.

Jaki zakon velikih brojeva

Kaže se da niz slučajnih promenljivih $X_{1},X_{2},X_{3},\dots$ u ${\mathcal {L}}^{1}$ zadovoljava jaki zakon velikih brojeva, kada za ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ važi:

$\operatorname {P} \left(\limsup _{n\rightarrow \infty }|{\overline {X}}_{n}|=0\right)=1$.

Jaki zakon velikih brojeva implicira slabi zakon velikih brojeva. Jaki zakon velikih brojeva važi za, na primer, niz stohastički nezavisnih slučajnih promenljivih koje imaju jednaku raspodelu verovatnoće. Jedan oblik ovog zakona za nezavisne slučajne promenljive je ergodičnost.

Vidi još

• Zakon malih brojeva
• Centralna granična teorema

Literatura

• Grimmett, G. R.; Stirzaker, D. R. (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford. ISBN 0-19-853665-8. 
• Richard Durrett (1995). Probability: Theory and Examples, 2nd Edition. Duxbury Press. 
• Martin Jacobsen (1992). Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen. ISBN 87-91180-71-6. 
• Loève, Michel (1977). Probability theory 1 (4th izd.). Springer Verlag. 
• Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol. IV, Ch. 36. Elsevier Science. str. 2111—2245. 
• Ross, Sheldon (2009). A first course in probability (8th izd.). Prentice Hall press. ISBN 978-0-13-603313-4. 
• Sen, P. K; Singer, J. M. (1993). Large sample methods in statistics. Chapman & Hall, Inc. 
• Seneta, Eugene (2013), „A Tricentenary history of the Law of Large Numbers”, Bernoulli, 19 (4): 1088—1121, arXiv:1309.6488 , doi:10.3150/12-BEJSP12 

Spoljašnje veze

• Hazewinkel Michiel, ur. (2001). „Law of large numbers”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• Weisstein, Eric W. „Weak Law of Large Numbers”. MathWorld. 
• Weisstein, Eric W. „Strong Law of Large Numbers”. MathWorld. 
• Animations for the Law of Large Numbers by Yihui Xie using the R package animation
• Apple CEO Tim Cook said something that would make statisticians cringe.