Закон великих бројева

Илустрација закона великих бројева на примеру бацања коцке. Ако се број бацања повећава, просечна вредност исхода се приближава вредности 3,5.

Закон великих бројева (LLN) је фундаментална теорема из области теорије вероватноће и статистике. У своме најједноставнијем облику овај закон тврди да се релативна вероватноћа случајног догађаја приближава вероватноћи овог догађаја када се случајни експеримент понавља велики број пута. Формалније, ради се о конвергенцији случајне променљиве у „јаком“ (скоро сигурна конвергенција) и „слабом“ смислу (конвергенција вероватноће).

The LLN is important because it guarantees stable long-term results for the averages of some random events. For example, while a casino may lose money in a single spin of the roulette wheel, its earnings will tend towards a predictable percentage over a large number of spins. Any winning streak by a player will eventually be overcome by the parameters of the game. Importantly, the law applies (as the name indicates) only when a large number of observations are considered. There is no principle that a small number of observations will coincide with the expected value or that a streak of one value will immediately be "balanced" by the others (see the gambler's fallacy).

The LLN only applies to the average. Therefore, while

$$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {X_{i}}{n}}={\overline {X}}$$

other formulas that look similar are not verified, such as the raw deviation from "theoretical results":

$$\sum _{i=1}^{n}X_{i}-n\times {\overline {X}}$$

not only does it not converge toward zero as n increases, but it tends to increase in absolute value as n increases.

Пример: бацање новчића

Вероватноћа да бачени новчић покаже писмо или главу износи ½. Што се више понавља овај експеримент, то ће бити вероватније да ће број исхода када „падне глава“ (релативна вероватноћа исхода „глава“), бити близак вредности ½. Са друге стране, врло је вероватно да ће апсолутна разлика између броја исхода „глава“ и половине броја бацања новчића расти.

Постоји и укорењено погрешно схватање закона великих бројева. Овај закон не тврди да ће они исходи који се до сада нису појављивали, од сада појављивати чешће да би уравнотежили расподелу вероватноћа. То је честа грешка играча рулета и лотоа.

Нека је низ исхода бацања новчића: глава, грб, глава, глава. Исход „глава“ се појавио три пута, а исход „грб“ једанпут. „Глава“ се дакле појављивала са релативним учешћем ¾, док је ова вредност за „грб“ ¼. После нових 96 бацања новчића исход је био 49 „грбова“ и 51 „глава“. Апсолутна разлика глава и грбова је после 100 бацања остала иста и као после 4, али је релативна разлика знатно смањена. Тако долазимо до дефиниције Закона великих бројева – вредност релативног учешћа $\textstyle {\frac {51}{100}}=0{,}51$ тежи очекиваној вредности 0,5.

Практичне импликације

• Индустрија осигурања: Закон великих бројева има велики практични значај за индустрију осигурања. Он омогућава да се направе дугорочне прогнозе износа одштетних захтева. Што је већи број осигураних особа и добара, и ако се подразумева да су сви изложени једнаком ризику, то је мањи утицај случаја. Овај закон, ипак, не може да да никакву прогнозу о томе ко ће конкретно уложити одштетни захтев.
• Медицина: Када се проучава ефикасност медицинских третмана, помоћу овог закона се могу елиминистаи случајни споредни фактори.
• Природне науке: Утицај несистематских грешки у мерењу се смањује понављањем мерења.
• Информатика: Постоје информатичке технике код којих се примењује овај закон. Пример је рачунарство у облаку.

Ограничење

The average of the results obtained from a large number of trials may fail to converge in some cases. For instance, the average of n results taken from the Cauchy distribution or some Pareto distributions (α<1) will not converge as n becomes larger; the reason is heavy tails. The Cauchy distribution and the Pareto distribution represent two cases: the Cauchy distribution does not have an expectation, whereas the expectation of the Pareto distribution (α<1) is infinite. One way to generate the Cauchy-distributed example is where the random numbers equal the tangent of an angle uniformly distributed between −90° and +90°. The median is zero, but the expected value does not exist, and indeed the average of n such variables have the same distribution as one such variable. It does not converge in probability toward zero (or any other value) as n goes to infinity.

And if the trials embed a selection bias, typical in human economic/rational behaviour, the law of large numbers does not help in solving the bias. Even if the number of trials is increased the selection bias remains.

Историја

Дифузија је пример закона великих бројева. У почетку, на левој страни баријере налазе се молекули растворених материја (магентна линија) и ни један на десној страни. Преграда се уклања, и раствор се дифундира да попуни цео контејнер.
Горе: Са једним молекулом, кретање изгледа сасвим случајно.
Средина: Са више молекула, јасно је присутан тренд где растворена материја све више и више униформно испуњава контејнер, али постоје и случајне флуктуације.
Доле: Са огромним бројем молекула растворене супстанце (превише да се могу видети), случајност је у суштини нестала: Чини се да растворак иде глатко и систематски од подручја високе концентрације до подручја са ниском концентрацијом. У реалним ситуацијама, хемичари могу описати дифузију као детерминистички макроскопски феномен (погледајте Фикове законе), упркос њене радомне природе.

The Italian mathematician Gerolamo Cardano (1501–1576) stated without proof that the accuracies of empirical statistics tend to improve with the number of trials. This was then formalized as a law of large numbers. A special form of the LLN (for a binary random variable) was first proved by Jacob Bernoulli. It took him over 20 years to develop a sufficiently rigorous mathematical proof which was published in his Ars Conjectandi (The Art of Conjecturing) in 1713. He named this his "Golden Theorem" but it became generally known as "Bernoulli's theorem". This should not be confused with Bernoulli's principle, named after Jacob Bernoulli's nephew Daniel Bernoulli. In 1837, S. D. Poisson further described it under the name "la loi des grands nombres" ("the law of large numbers"). Thereafter, it was known under both names, but the "law of large numbers" is most frequently used.

After Bernoulli and Poisson published their efforts, other mathematicians also contributed to refinement of the law, including Chebyshev, Markov, Borel, Cantelli, Kolmogorov and Khinchin. Markov showed that the law can apply to a random variable that does not have a finite variance under some other weaker assumption, and Khinchin showed in 1929 that if the series consists of independent identically distributed random variables, it suffices that the expected value exists for the weak law of large numbers to be true. These further studies have given rise to two prominent forms of the LLN. One is called the "weak" law and the other the "strong" law, in reference to two different modes of convergence of the cumulative sample means to the expected value; in particular, as explained below, the strong form implies the weak.

Форме

There are two different versions of the law of large numbers that are described below. They are called the strong law of large numbers and the weak law of large numbers. Stated for the case where X₁, X₂, ... is an infinite sequence of independent and identically distributed (i.i.d.) Lebesgue integrable random variables with expected value E(X₁) = E(X₂) = ... = µ, both versions of the law state that the sample average

$${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$$

converges to the expected value:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$$

(1)

(Lebesgue integrability of X_j means that the expected value E(X_j) exists according to Lebesgue integration and is finite. It does not mean that the associated probability measure is absolutely continuous with respect to Lebesgue measure.)

Introductory probability texts often additionally assume identical finite variance $\operatorname {Var} (X_{i})=\sigma ^{2}$ (for all $i$) and no correlation between random variables. In that case, the variance of the average of n random variables is

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

which can be used to shorten and simplify the proofs. This assumption of finite variance is not necessary. Large or infinite variance will make the convergence slower, but the LLN holds anyway.

Mutual independence of the random variables can be replaced by pairwise independence or exchangeability in both versions of the law.

The difference between the strong and the weak version is concerned with the mode of convergence being asserted. For interpretation of these modes, see Convergence of random variables.

Слаби закон великих бројева

За низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ у ${\mathcal {L}}^{1}$ каже се да задовољава слаби закон великих бројева, када за ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ и све позитивне бројеве $\varepsilon$ важи:

$\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}\right|>\varepsilon \right)=0$.

Постоји мноштво ситуација у којима се може применити Слаби закон великих бројева. На пример, он важи за низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ које имају коначне варијансе $\sigma _{1}^{2},\sigma _{2}^{2},\sigma _{3}^{2}\dots$, које су ограничене заједничком горњом границом, и нису међусобно корелисане: $\operatorname {Cov} (X_{i},X_{j})=0$ за $i\neq j$.

Јаки закон великих бројева

Каже се да низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ у ${\mathcal {L}}^{1}$ задовољава јаки закон великих бројева, када за ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ важи:

$\operatorname {P} \left(\limsup _{n\rightarrow \infty }|{\overline {X}}_{n}|=0\right)=1$.

Јаки закон великих бројева имплицира слаби закон великих бројева. Јаки закон великих бројева важи за, на пример, низ стохастички независних случајних променљивих које имају једнаку расподелу вероватноће. Један облик овог закона за независне случајне променљиве је ергодичност.

Види још

• Закон малих бројева
• Централна гранична теорема

Литература

• Grimmett, G. R.; Stirzaker, D. R. (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford. ISBN 0-19-853665-8. 
• Richard Durrett (1995). Probability: Theory and Examples, 2nd Edition. Duxbury Press. 
• Martin Jacobsen (1992). Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen. ISBN 87-91180-71-6. 
• Loève, Michel (1977). Probability theory 1 (4th изд.). Springer Verlag. 
• Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol. IV, Ch. 36. Elsevier Science. стр. 2111—2245. 
• Ross, Sheldon (2009). A first course in probability (8th изд.). Prentice Hall press. ISBN 978-0-13-603313-4. 
• Sen, P. K; Singer, J. M. (1993). Large sample methods in statistics. Chapman & Hall, Inc. 
• Seneta, Eugene (2013), „A Tricentenary history of the Law of Large Numbers”, Bernoulli, 19 (4): 1088—1121, arXiv:1309.6488 , doi:10.3150/12-BEJSP12 

Спољашње везе

• Hazewinkel Michiel, ур. (2001). „Law of large numbers”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• Weisstein, Eric W. „Weak Law of Large Numbers”. MathWorld. 
• Weisstein, Eric W. „Strong Law of Large Numbers”. MathWorld. 
• Animations for the Law of Large Numbers by Yihui Xie using the R package animation
• Apple CEO Tim Cook said something that would make statisticians cringe.