Кулбак-Лајблерова дивергенција

У математичкој статистици, Кулбак—Лајблерова (КЛ) дивергенција (такође се назива релативна ентропија и I-дивергенција), означена као $D_{\text{KL}}(P\parallel Q)$, јесте тип статистичке раздаљине: мера колико се модел расподеле вероватноће Q разликује од стварне расподеле вероватноће P. Математички, дефинише се као

$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{.}}$$

Једноставна интерпретација КЛ дивергенције P од Q је очекивани вишак изненађења од коришћења Q као модела уместо P, када је стварна расподела P. Иако је то мера разлике између две расподеле и стога јесте раздаљина у неком смислу, она заправо није метрика, што је најпознатији и формални тип раздаљине. Конкретно, није симетрична у двема расподелама (за разлику од варијације информације) и не задовољава неједнакост троугла. Уместо тога, у смислу информационе геометрије, то је тип дивергенције, генерализација квадратне Еуклидске раздаљине, и за одређене класе расподела (посебно експоненцијалну фамилију), задовољава генерализовану Питагорину теорему (која се примењује на квадратне раздаљине).

Релативна ентропија је увек ненегативан реалан број, са вредношћу 0 ако и само ако су две расподеле у питању идентичне. Има различите примене, како теоријске, као што је карактеризација релативне (Шенонове) ентропије у информационим системима, случајности у непрекидним временским серијама и добитка информација при поређењу статистичких модела закључивања; тако и практичне, као што су примењена статистика, механика флуида, неуронаука, биоинформатика и машинско учење.

Увод и контекст

Размотримо две расподеле вероватноће P и Q. Обично, P представља податке, опсервације или измерену расподелу вероватноће. Расподела Q уместо тога представља теорију, модел, опис или апроксимацију P. Кулбак—Лајблерова дивергенција $D_{\text{KL}}(P\parallel Q)$ се тада тумачи као просечна разлика у броју битова потребних за кодирање узорака из P коришћењем кода оптимизованог за Q уместо оног оптимизованог за P. Треба напоменути да се улоге P и Q могу заменити у неким ситуацијама где је то лакше израчунати, као што је случај са алгоритмом очекивање-максимизација (EM) и прорачунима доње границе доказа (ELBO).

Етимологија

Релативну ентропију су увели Соломон Кулбак и Ричард Лајблер 1951. године као „средњу информацију за дискриминацију између $H_{1}$ и $H_{2}$ по опсервацији из $\mu _{1}$”, где се пореде две мере вероватноће $\mu _{1},\mu _{2}$, а $H_{1},H_{2}$ су хипотезе да се бира из мере $\mu _{1},\mu _{2}$ (респективно). Означили су је са $I(1:2)$, и дефинисали „’дивергенцију’ између $\mu _{1}$ и $\mu _{2}$” као симетризовану количину $J(1,2)=I(1:2)+I(2:1)$, коју је већ дефинисао и користио Харолд Џефриз 1948. године. У Kullback (1959), симетризовани облик се поново назива „дивергенцијом”, а релативне ентропије у сваком смеру се називају „усмереним дивергенцијама” између две расподеле; Кулбак је преферирао термин дискриминациона информација. Термин „дивергенција” је у супротности са раздаљином (метриком), пошто симетризована дивергенција не задовољава неједнакост троугла. Бројне референце на раније употребе симетризоване дивергенције и на друге статистичке раздаљине дате су у Kullback (1959, стр. 6–7, §1.3 Divergence). Асиметрична „усмерена дивергенција” постала је позната као Кулбак—Лајблерова дивергенција, док се симетризована „дивергенција” сада назива Џефризова дивергенција.

Дефиниција

За дискретне расподеле вероватноће P и Q дефинисане на истом простору исхода, ${\mathcal {X}}$, релативна ентропија од Q до P је дефинисана као

$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {P(x)}{Q(x)}}{\text{,}}$$

што је еквивалентно са

$$D_{\text{KL}}(P\parallel Q)=-\sum _{x\in {\mathcal {X}}}P(x)\,\log {\frac {Q(x)}{P(x)}}{\text{.}}$$

Другим речима, то је очекивана вредност логаритамске разлике између вероватноћа P и Q, где се очекивање узима користећи вероватноће P. Релативна ентропија је дефинисана на овај начин само ако, за све x, $Q(x)=0$ имплицира $P(x)=0$ (апсолутна непрекидност). У супротном, често се дефинише као $+\infty$, али вредност $\ +\infty \$ је могућа чак и ако је $Q(x)\neq 0$ свуда, под условом да је ${\mathcal {X}}$ бесконачног опсега. Аналогни коментари се примењују на непрекидне и опште случајеве мере дефинисане у наставку.

Кад год је $P(x)$ нула, допринос одговарајућег члана се тумачи као нула јер

$$\lim _{x\to 0^{+}}x\,\log(x)=0{\text{.}}$$

За расподеле P и Q непрекидне случајне променљиве, релативна ентропија се дефинише као интеграл

$$D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\,\log {\frac {p(x)}{q(x)}}\,dx{\text{.}}$$

где p и q означавају функције густине вероватноће од P и Q.

Уопштеније, ако су P и Q мере вероватноће на мерљивом простору ${\mathcal {X}}\,,$ и P је апсолутно непрекидна у односу на Q, онда се релативна ентропија од Q до P дефинише као

$$D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}\log {\frac {P(dx)}{Q(dx)}}\,P(dx){\text{,}}$$

где је ${\frac {P(dx)}{Q(dx)}}$ Радон—Никодимов извод од P у односу на Q, тј. јединствена Q скоро свуда дефинисана функција r на ${\mathcal {X}}$ таква да је $P(dx)=r(x)Q(dx)$ која постоји јер је P апсолутно непрекидна у односу на Q. Такође претпостављамо да израз са десне стране постоји. Еквивалентно (по правилу ланца), ово се може написати као

$$D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}{\frac {P(dx)}{Q(dx)}}\ \log {\frac {P(dx)}{Q(dx)}}\ Q(dx){\text{,}}$$

што је ентропија од P у односу на Q. Настављајући у овом случају, ако је $\mu$ било која мера на ${\mathcal {X}}$ за коју густине p и q са $P(dx)=p(x)\mu (dx)$ и $Q(dx)=q(x)\mu (dx)$ постоје (што значи да су P и Q обе апсолутно непрекидне у односу на $\mu$), онда је релативна ентропија од Q до P дата као

$$D_{\text{KL}}(P\parallel Q)=\int _{x\in {\mathcal {X}}}p(x)\,\log {\frac {p(x)}{q(x)}}\ \mu (dx){\text{.}}$$

Приметите да таква мера $\mu$ за коју се могу дефинисати густине увек постоји, пошто се може узети ${\textstyle \mu ={\frac {1}{2}}\left(P+Q\right)}$, иако ће у пракси то обично бити она која се примењује у контексту као што је мера пребројавања за дискретне расподеле, или Лебегова мера или њена погодна варијанта као што је Гаусова мера или униформна мера на сфери, Харова мера на Лијевој групи итд. за непрекидне расподеле. Логаритми у овим формулама се обично узимају са основом 2 ако се информација мери у јединицама битова, или са основом e ако се информација мери у натима. Већина формула које укључују релативну ентропију важе без обзира на основу логаритма.

Постоје различите конвенције за именовање $D_{\text{KL}}(P\parallel Q)$ речима. Често се назива дивергенцијом између P и Q, али то не успева да пренесе фундаменталну асиметрију у односу. Понекад, као у овом чланку, може се описати као дивергенција P од Q или као дивергенција од Q до P. Ово одражава асиметрију у Бајесовом закључивању, које почиње од априорне расподеле Q и ажурира се до апостериорне расподеле P. Други уобичајен начин за означавање $D_{\text{KL}}(P\parallel Q)$ је релативна ентропија P у односу на Q или добитак информација од P у односу на Q.

Основни пример

Кулбак даје следећи пример (Табела 2.1, Пример 2.1). Нека су P и Q расподеле приказане у табели и на слици. P је расподела на левој страни слике, биномна расподела са $N=2$ и $p=0.4$. Q је расподела на десној страни слике, дискретна униформна расподела са три могућа исхода x = 5000000000000000000♠0, 7000100000000000000♠1, 7000200000000000000♠2 (тј. ${\mathcal {X}}=\{0,1,2\}$), сваки са вероватноћом $p=1/3$.

Две расподеле за илустрацију релативне ентропије

x Расподела	0	1	2
$P(x)$	9/25	12/25	4/25
$Q(x)$	1/3	1/3	1/3

Релативне ентропије $D_{\text{KL}}(P\parallel Q)$ и $D_{\text{KL}}(Q\parallel P)$ се рачунају на следећи начин. Овај пример користи природни логаритам са основом e, означен као ln, да би се добили резултати у натима (видети јединице информације): $${\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}P(x)\,\ln {\frac {P(x)}{Q(x)}}\\&={\frac {9}{25}}\ln {\frac {9/25}{1/3}}+{\frac {12}{25}}\ln {\frac {12/25}{1/3}}+{\frac {4}{25}}\ln {\frac {4/25}{1/3}}\\&={\frac {1}{25}}\left(32\ln 2+55\ln 3-50\ln 5\right)\\&\approx 0.0852996{\text{,}}\end{aligned}}$$

$${\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in {\mathcal {X}}}Q(x)\,\ln {\frac {Q(x)}{P(x)}}\\&={\frac {1}{3}}\,\ln {\frac {1/3}{9/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{12/25}}+{\frac {1}{3}}\,\ln {\frac {1/3}{4/25}}\\&={\frac {1}{3}}\left(-4\ln 2-6\ln 3+6\ln 5\right)\\&\approx 0.097455{\text{.}}\end{aligned}}$$

Интерпретације

Статистика

У области статистике, Нејман—Пирсонова лема наводи да је најмоћнији начин за разликовање између две расподеле P и Q на основу опсервације Y (извучене из једне од њих) путем логаритма односа њихових веродостојности: $\log P(Y)-\log Q(Y)$. КЛ дивергенција је очекивана вредност ове статистике ако је Y заиста извучена из P. Кулбак је мотивисао ову статистику као очекивани логаритамски однос веродостојности.

Кодирање

У контексту теорије кодирања, $D_{\text{KL}}(P\parallel Q)$ се може конструисати мерењем очекиваног броја додатних битова потребних за кодирање узорака из P коришћењем кода оптимизованог за Q уместо кода оптимизованог за P.

Закључивање

У контексту машинског учења, $D_{\text{KL}}(P\parallel Q)$ се често назива добитком информација оствареним ако би се P користило уместо Q које се тренутно користи. По аналогији са теоријом информација, назива се релативном ентропијом P у односу на Q.

Изражено језиком Бајесовог закључивања, $D_{\text{KL}}(P\parallel Q)$ је мера информације добијене ревидирањем уверења од априорне расподеле вероватноће Q до апостериорне расподеле вероватноће P. Другим речима, то је количина информација изгубљена када се Q користи за апроксимацију P.

Информациона геометрија

У применама, P обично представља „праву” расподелу података, опсервација или прецизно израчунату теоријску расподелу, док Q обично представља теорију, модел, опис или апроксимацију P. Да бисмо пронашли расподелу Q која је најближа P, можемо минимизовати КЛ дивергенцију и израчунати информациону пројекцију.

Иако је то статистичка раздаљина, она није метрика, најпознатији тип раздаљине, већ је то дивергенција. Док су метрике симетричне и генерализују линеарну раздаљину, задовољавајући неједнакост троугла, дивергенције су асиметричне и генерализују квадратну раздаљину, у неким случајевима задовољавајући генерализовану Питагорину теорему. Уопштено $D_{\text{KL}}(P\parallel Q)$ није једнако $D_{\text{KL}}(Q\parallel P)$, а асиметрија је важан део геометрије. Инфинитезимални облик релативне ентропије, конкретно њена Хесијанова матрица, даје метрички тензор који је једнак Фишеровој информационој метрици; видети § Фишерова информациона метрика. Фишерова информациона метрика на одређеној расподели вероватноће омогућава одређивање природног градијента за информационо-геометријске алгоритме оптимизације. Њена квантна верзија је Фубини-Студи метрика. Релативна ентропија задовољава генерализовану Питагорину теорему за експоненцијалне фамилије (геометријски интерпретиране као дуално равне многострукости), и то омогућава минимизацију релативне ентропије геометријским средствима, на пример информационом пројекцијом и у процени максималне веродостојности.

Релативна ентропија је Брегманова дивергенција генерисана негативном ентропијом, али је такође у облику f-дивергенције. За вероватноће над коначним азбуком, она је јединствена по томе што припада обема класама статистичких дивергенција. Примена Брегманове дивергенције се може наћи у алгоритму спуштања у огледалу (mirror descent).

Финансије (теорија игара)

Размотримо инвеститора који оптимизује раст у фер игри са међусобно искључивим исходима (нпр. „трка коња” у којој збир званичних квота износи један). Стопа поврата коју очекује такав инвеститор једнака је релативној ентропији између вероватноћа у које инвеститор верује и званичних квота. Ово је посебан случај много општије везе између финансијских поврата и мера дивергенције. Финансијски ризици су повезани са $D_{\text{KL}}$ путем информационе геометрије. Ставови инвеститора, преовлађујући став на тржишту и ризични сценарији формирају троуглове на релевантној многострукости расподела вероватноће. Облик троуглова одређује кључне финансијске ризике (и квалитативно и квантитативно). На пример, тупоугли троуглови у којима се ставови инвеститора и ризични сценарији појављују на „супротним странама” у односу на тржиште описују негативне ризике, оштроугли троуглови описују позитивну изложеност, а правоугла ситуација у средини одговара нултом ризику. Проширујући овај концепт, релативна ентропија се хипотетички може користити за идентификацију понашања информисаних инвеститора, ако се ово схвати као представљено величином и одступањима од претходних очекивања токова фондова, на пример.

Мотивација

Илустрација релативне ентропије за две нормалне расподеле. Јасно је видљива типична асиметрија.

У теорији информација, Крафт—Макмиланова неједнакост утврђује да се било која шема кодирања која се може директно декодирати за кодирање поруке ради идентификације једне вредности $x_{i}$ из скупа могућности X може посматрати као представљање имплицитне расподеле вероватноће $q(x_{i})=2^{-\ell _{i}}$ над X, где је $\ell _{i}$ дужина кода за $x_{i}$ у битовима. Стога се релативна ентропија може тумачити као очекивана додатна дужина поруке по податку која се мора пренети ако се користи код који је оптималан за дату (погрешну) расподелу Q, у поређењу са коришћењем кода заснованог на правој расподели P: то је вишак ентропије.

$${\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}$$

где је $\mathrm {H} (P,Q)$ унакрсна ентропија од Q у односу на P, а $\mathrm {H} (P)$ је ентропија од P (што је исто као и унакрсна ентропија P са самим собом).

Релативна ентропија $D_{\text{KL}}(P\parallel Q)$ се може геометријски посматрати као статистичка раздаљина, мера колико је расподела Q удаљена од расподеле P. Геометријски, то је дивергенција: асиметричан, генерализован облик квадратне раздаљине. Унакрсна ентропија $H(P,Q)$ је сама по себи такво мерење (формално функција губитка), али се не може сматрати раздаљином, јер $H(P,P)=:H(P)$ није нула. Ово се може исправити одузимањем $H(P)$ како би се $D_{\text{KL}}(P\parallel Q)$ боље ускладило са нашом представом о раздаљини, као вишак губитка. Резултујућа функција је асиметрична, и иако се може симетризовати (видети § Симетризована дивергенција), асиметрични облик је кориснији. Видети § Интерпретације за више о геометријској интерпретацији.

Релативна ентропија се односи на „функцију стопе” у теорији великих девијација.

Артур Хобсон је доказао да је релативна ентропија једина мера разлике између расподела вероватноће која задовољава неке жељене особине, које су канонско проширење оних које се појављују у често коришћеној карактеризацији ентропије. Сходно томе, међусобна информација је једина мера међусобне зависности која поштује одређене повезане услове, пошто се може дефинисати у терминима Кулбак—Лајблерове дивергенције.

Особине

• Релативна ентропија је увек ненегативна, $$D_{\text{KL}}(P\parallel Q)\geq 0,$$ резултат познат као Гибсова неједнакост, при чему је $D_{\text{KL}}(P\parallel Q)$ једнако нули ако и само ако је $P=Q$ као мере. Конкретно, ако је $P(dx)=p(x)\mu (dx)$ и $Q(dx)=q(x)\mu (dx)$, онда је $p(x)=q(x)$ $\mu$-скоро свуда. Ентропија $\mathrm {H} (P)$ стога поставља минималну вредност за унакрсну ентропију $\mathrm {H} (P,Q)$, очекивани број битова потребних када се користи код заснован на Q уместо P; и Кулбак—Лајблерова дивергенција стога представља очекивани број додатних битова који се морају пренети да би се идентификовала вредност x извучена из X, ако се користи код који одговара расподели вероватноће Q, уместо „праве” расподеле P.
• Не постоји горња граница за општи случај. Међутим, показано је да ако су P и Q две дискретне расподеле вероватноће изграђене дистрибуцијом исте дискретне количине, онда се максимална вредност $D_{\text{KL}}(P\parallel Q)$ може израчунати.
• Релативна ентропија остаје добро дефинисана за непрекидне расподеле, и штавише, инваријантна је под трансформацијама параметара. На пример, ако се изврши трансформација из променљиве x у променљиву $y(x)$, онда, пошто је $P(dx)=p(x)\,dx={\tilde {p}}(y)\,dy={\tilde {p}}(y(x))\left|{\tfrac {dy}{dx}}(x)\right|\,dx$ и $Q(dx)=q(x)\,dx={\tilde {q}}(y)\,dy={\tilde {q}}(y)\left|{\tfrac {dy}{dx}}(x)\right|dx$ где је $\left|{\tfrac {dy}{dx}}(x)\right|$ апсолутна вредност извода или уопштеније Јакобијана, релативна ентропија се може преписати: $${\begin{aligned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}p(x)\,\log {\frac {p(x)}{q(x)}}\,dx\\[6pt]&=\int _{x_{a}}^{x_{b}}{\tilde {p}}(y(x))\left|{\frac {dy}{dx}}\right|\log {\frac {{\tilde {p}}(y(x))\,\left|{\frac {dy}{dx}}\right|}{{\tilde {q}}(y(x))\,\left|{\frac {dy}{dx}}\right|}}\,dx\\&=\int _{y_{a}}^{y_{b}}{\tilde {p}}(y)\,\log {\frac {{\tilde {p}}(y)}{{\tilde {q}}(y)}}\,dy\end{aligned}}$$ где су $y_{a}=y(x_{a})$ и $y_{b}=y(x_{b})$. Иако се претпостављало да је трансформација непрекидна, то не мора бити случај. Ово такође показује да релативна ентропија производи димензионално конзистентну количину, пошто ако је x димензионисана променљива, $p(x)$ и $q(x)$ су такође димензионисани, јер је нпр. $P(dx)=p(x)\,dx$ бездимензионално. Аргумент логаритамског члана је и остаје бездимензионалан, као што и мора бити. Стога се може посматрати као у неким аспектима фундаменталнија количина од неких других својстава у теорији информација (као што су сопствена информација или Шенонова ентропија), које могу постати недефинисане или негативне за недискретне вероватноће.
• Релативна ентропија је адитивна за независне расподеле на сличан начин као Шенонова ентропија. Ако су $P_{1},P_{2}$ независне расподеле, и $P(dx,dy)=P_{1}(dx)P_{2}(dy)$, и слично $Q(dx,dy)=Q_{1}(dx)Q_{2}(dy)$ за независне расподеле $Q_{1},Q_{2}$, онда $$D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_{1}\parallel Q_{1})+D_{\text{KL}}(P_{2}\parallel Q_{2}).$$
• Релативна ентропија $D_{\text{KL}}(P\parallel Q)$ је конвексна у пару мера вероватноће $(P,Q)$, тј. ако су $(P_{1},Q_{1})$ и $(P_{2},Q_{2})$ два пара мера вероватноће онда $$D_{\text{KL}}(\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2})\leq \lambda D_{\text{KL}}(P_{1}\parallel Q_{1})+(1-\lambda )D_{\text{KL}}(P_{2}\parallel Q_{2}){\text{ for }}0\leq \lambda \leq 1.$$
• $D_{\text{KL}}(P\parallel Q)$ се може развити у Тејлоров ред око свог минимума (тј. $P=Q$) као $$D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}$$ који конвергира ако и само ако $P\leq 2Q$ скоро сигурно у односу на $Q$.

Означимо $f(\alpha ):=D_{\text{KL}}((1-\alpha )Q+\alpha P\parallel Q)$ и приметимо да је $D_{\text{KL}}(P\parallel Q)=f(1)$. Први извод од $f$ се може извести и израчунати на следећи начин $${\begin{aligned}f'(\alpha )&amp;=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\left(\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)+1\right)\\&amp;=\sum _{x\in {\mathcal {X}}}(P(x)-Q(x))\log \left({\frac {(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}}\right)\\f'(0)&amp;=0\end{aligned}}$$ Даљи изводи се могу извести и израчунати на следећи начин $${\begin{aligned}f''(\alpha )&amp;=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{(1-\alpha )Q(x)+\alpha P(x)}}\\f''(0)&amp;=\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{2}}{Q(x)}}\\f^{(n)}(\alpha )&amp;=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{\left((1-\alpha )Q(x)+\alpha P(x)\right)^{n-1}}}\\f^{(n)}(0)&amp;=(-1)^{n}(n-2)!\sum _{x\in {\mathcal {X}}}{\frac {(P(x)-Q(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}$$ Стога, решавањем за $D_{\text{KL}}(P\parallel Q)$ путем Тејлоровог развоја од $f$ око $0$ израчунатог у $\alpha =1$ добија се $${\begin{aligned}D_{\text{KL}}(P\parallel Q)&amp;=\sum _{n=0}^{\infty }{\frac {f^{(n)}(0)}{n!}}\\&amp;=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\end{aligned}}$$ $P\leq 2Q$ с.с. је довољан услов за конвергенцију реда следећим аргументом апсолутне конвергенције $${\begin{aligned}\sum _{n=2}^{\infty }\left\vert {\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}{\frac {(Q(x)-P(x))^{n}}{Q(x)^{n-1}}}\right\vert &amp;=\sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \left\vert 1-{\frac {P(x)}{Q(x)}}\right\vert ^{n-1}\\&amp;\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\sum _{x\in {\mathcal {X}}}\left\vert Q(x)-P(x)\right\vert \\&amp;\leq \sum _{n=2}^{\infty }{\frac {1}{n(n-1)}}\\&amp;=1\end{aligned}}$$ $P\leq 2Q$ с.с. је такође неопходан услов за конвергенцију реда следећим доказом контрадикцијом. Претпоставимо да је $P>2Q$ са мером строго већом од $0$. Тада следи да морају постојати неке вредности $\varepsilon >0$, $\rho >0$ и $U<\infty$ такве да је $P\geq 2Q+\varepsilon$ и $Q\leq U$ са мером $\rho$. Претходни доказ довољности је показао да је компонента реда мере $1-\rho$ где је $P\leq 2Q$ ограничена, па се морамо бавити само понашањем компоненте реда мере $\rho$ где је $P\geq 2Q+\varepsilon$. Апсолутна вредност $n$-тог члана ове компоненте реда је тада доње ограничена са ${\frac {1}{n(n-1)}}\rho \left(1+{\frac {\varepsilon }{U}}\right)^{n}$, што је неограничено када $n\to \infty$, па ред дивергира.

Формула дуалности за варијационо закључивање

Следећи резултат, који дугујемо Донскеру и Варадану, познат је као Донскерова и Вараданова варијациона формула.

Теорема [Формула дуалности за варијационо закључивање]

Нека је $\Theta$ скуп опремљен одговарајућим $\sigma$-пољем ${\mathcal {F}}$, и две мере вероватноће P и Q, које формулишу два простора вероватноће $(\Theta ,{\mathcal {F}},P)$ и $(\Theta ,{\mathcal {F}},Q)$, са $Q\ll P$. ($Q\ll P$ означава да је Q апсолутно непрекидна у односу на P.) Нека је h реално-вредносна интеграбилна случајна променљива на $(\Theta ,{\mathcal {F}},P)$. Тада важи следећа једнакост

$$\log E_{P}[\exp h]=\operatorname {sup} _{Q\ll P}\{E_{Q}[h]-D_{\text{KL}}(Q\parallel P)\}{\text{.}}$$

Даље, супремум на десној страни се постиже ако и само ако важи

$${\frac {Q(d\theta )}{P(d\theta )}}={\frac {\exp h(\theta )}{E_{P}[\exp h]}}{\text{,}}$$

скоро сигурно у односу на меру вероватноће P, где ${\frac {Q(d\theta )}{P(d\theta )}}$ означава Радон-Никодимов извод од Q у односу на P.

За кратак доказ под претпоставком интеграбилности $\exp(h)$ у односу на P, нека $Q^{*}$ има P-густину ${\frac {\exp h(\theta )}{E_{P}[\exp h]}}$, тј. $Q^{*}(d\theta )={\frac {\exp h(\theta )}{E_{P}[\exp h]}}P(d\theta )$. Тада

$$D_{\text{KL}}(Q\parallel Q^{*})-D_{\text{KL}}(Q\parallel P)=-E_{Q}[h]+\log E_{P}[\exp h]{\text{.}}$$

Стога,

$$E_{Q}[h]-D_{\text{KL}}(Q\parallel P)=\log E_{P}[\exp h]-D_{\text{KL}}(Q\parallel Q^{*})\leq \log E_{P}[\exp h]{\text{,}}$$

где последња неједнакост следи из $D_{\text{KL}}(Q\parallel Q^{*})\geq 0$, за коју једнакост важи ако и само ако $Q=Q^{*}$. Закључак следи.

Примери

Мултиваријантне нормалне расподеле

Претпоставимо да имамо две мултиваријантне нормалне расподеле, са средњим вредностима $\mu _{0},\mu _{1}$ и са (не-сингуларним) коваријанционим матрицама $\Sigma _{0},\Sigma _{1}.$ Ако две расподеле имају исту димензију, k, онда је релативна ентропија између расподела следећа:

$$D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left[\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln {\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right]{\text{.}}$$

Логаритам у последњем члану мора бити са основом e пошто су сви чланови осим последњег логаритми са основом e израза који су или фактори функције густине или се на други начин природно појављују. Једначина стога даје резултат мерен у натима. Дељењем целог израза изнад са $\ln(2)$ добија се дивергенција у битовима.

У нумеричкој имплементацији, корисно је изразити резултат у терминима Чолескијеве декомпозиције $L_{0},L_{1}$ тако да је $\Sigma _{0}=L_{0}L_{0}^{T}$ и $\Sigma _{1}=L_{1}L_{1}^{T}$. Тада са M и y као решењима троугаоних линеарних система $L_{1}M=L_{0}$ и $L_{1}y=\mu _{1}-\mu _{0}$, $$D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\sum _{i,j=1}^{k}{\left(M_{ij}\right)}^{2}-k+|y|^{2}+2\sum _{i=1}^{k}\ln {\frac {(L_{1})_{ii}}{(L_{0})_{ii}}}\right){\text{.}}$$

Посебан случај, и честа количина у варијационом закључивању, јесте релативна ентропија између дијагоналне мултиваријантне нормалне и стандардне нормалне расподеле (са нултом средњом вредношћу и јединичном варијансом):

$$D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={\frac {1}{2}}\sum _{i=1}^{k}\left[\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right]{\text{.}}$$

За две униваријантне нормалне расподеле p и q горње се поједностављује на $$D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {\sigma _{1}}{\sigma _{0}}}+{\frac {\sigma _{0}^{2}+{\left(\mu _{0}-\mu _{1}\right)}^{2}}{2\sigma _{1}^{2}}}-{\frac {1}{2}}$$

У случају коцентрираних нормалних расподела са $k=\sigma _{1}/\sigma _{0}$, ово се поједностављује на:

$$D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log _{2}k+(k^{-2}-1)/2/\ln(2)\mathrm {bits}$$

Униформне расподеле

Размотримо две униформне расподеле, са подршком $p=[A,B]$ унутар $q=[C,D]$ ($C\leq A<B\leq D$). Тада је добитак информација:

$$D_{\text{KL}}\left({\mathcal {p}}\parallel {\mathcal {q}}\right)=\log {\frac {D-C}{B-A}}$$

Интуитивно, добитак информација за k пута ужу униформну расподелу садржи $\log _{2}k$ битова. Ово се повезује са употребом битова у рачунарству, где би $\log _{2}k$ битова било потребно да се идентификује један елемент из тока дужине k.

Експоненцијална фамилија

Експоненцијална фамилија расподела је дата са

$$p_{X}(x|\theta )=h(x)\exp \left(\theta ^{\mathsf {T}}T(x)-A(\theta )\right)$$

где је $h(x)$ референтна мера, $T(x)$ је довољна статистика, $\theta$ су канонски природни параметри, а $A(\theta )$ је логаритамска партициона функција.

КЛ дивергенција између две расподеле $p(x|\theta _{1})$ и $p(x|\theta _{2})$ је дата са

$$D_{\text{KL}}(\theta _{1}\parallel \theta _{2})={\left(\theta _{1}-\theta _{2}\right)}^{\mathsf {T}}\mu _{1}-A(\theta _{1})+A(\theta _{2})$$

где је $\mu _{1}=E_{\theta _{1}}[T(X)]=\nabla A(\theta _{1})$ средњи параметар од $p(x|\theta _{1})$.

На пример, за Поасонову расподелу са средњом вредношћу $\lambda$, довољна статистика је $T(x)=x$, природни параметар $\theta =\log \lambda$, а логаритамска партициона функција $A(\theta )=e^{\theta }$. Као таква, дивергенција између две Поасонове расподеле са средњим вредностима $\lambda _{1}$ и $\lambda _{2}$ је

$$D_{\text{KL}}(\lambda _{1}\parallel \lambda _{2})=\lambda _{1}\log {\frac {\lambda _{1}}{\lambda _{2}}}-\lambda _{1}+\lambda _{2}{\text{.}}$$

Као други пример, за нормалну расподелу са јединичном варијансом $N(\mu ,1)$, довољна статистика је $T(x)=x$, природни параметар $\theta =\mu$, а логаритамска партициона функција $A(\theta )=\mu ^{2}/2$. Тако, дивергенција између две нормалне расподеле $N(\mu _{1},1)$ и $N(\mu _{2},1)$ је

$$D_{\text{KL}}(\mu _{1}\parallel \mu _{2})=\left(\mu _{1}-\mu _{2}\right)\mu _{1}-{\frac {\mu _{1}^{2}}{2}}+{\frac {\mu _{2}^{2}}{2}}={\frac {{\left(\mu _{2}-\mu _{1}\right)}^{2}}{2}}{\text{.}}$$

Као последњи пример, дивергенција између нормалне расподеле са јединичном варијансом $N(\mu ,1)$ и Поасонове расподеле са средњом вредношћу $\lambda$ је

$$D_{\text{KL}}(\mu \parallel \lambda )=(\mu -\log \lambda )\mu -{\frac {\mu ^{2}}{2}}+\lambda {\text{.}}$$

Однос са метрикама

Иако је релативна ентропија статистичка раздаљина, она није метрика на простору расподела вероватноће, већ је то дивергенција. Док су метрике симетричне и генерализују линеарну раздаљину, задовољавајући неједнакост троугла, дивергенције су уопштено асиметричне и генерализују квадратну раздаљину, у неким случајевима задовољавајући генерализовану Питагорину теорему. Уопштено $D_{\text{KL}}(P\parallel Q)$ није једнако $D_{\text{KL}}(Q\parallel P)$, и док се ово може симетризовати (видети § Симетризована дивергенција), асиметрија је важан део геометрије.

Она генерише топологију на простору расподела вероватноће. Конкретније, ако је $\{P_{1},P_{2},\ldots \}$ низ расподела такав да

$$\lim _{n\to \infty }D_{\text{KL}}(P_{n}\parallel Q)=0{\text{,}}$$

онда се каже да

$$P_{n}\xrightarrow {D} \,Q{\text{.}}$$

Пинскерова неједнакост повлачи да

$$P_{n}\xrightarrow {D} P\Rightarrow P_{n}\xrightarrow {TV} P{\text{,}}$$

где последње означава уобичајену конвергенцију у тоталној варијацији.

Фишерова информациона метрика

Релативна ентропија је директно повезана са Фишеровом информационом метриком. Ово се може експлицитно приказати на следећи начин. Претпоставимо да су расподеле вероватноће P и Q обе параметризоване неким (могуће вишедимензионалним) параметром $\theta$. Размотримо тада две блиске вредности $P=P(\theta )$ и $Q=P(\theta _{0})$ тако да се параметар $\theta$ разликује само за малу вредност од вредности параметра $\theta _{0}$. Конкретно, до првог реда имамо (користећи Ајнштајнову конвенцију о сумирању) $$P(\theta )=P(\theta _{0})+\Delta \theta _{j}\,P_{j}(\theta _{0})+\cdots$$

са $\Delta \theta _{j}=(\theta -\theta _{0})_{j}$ малом променом $\theta$ у j смеру, и $P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \theta _{j}}}(\theta _{0})$ одговарајућом стопом промене у расподели вероватноће. Пошто релативна ентропија има апсолутни минимум 0 за $P=Q$, тј. $\theta =\theta _{0}$, она се мења само до другог реда у малим параметрима $\Delta \theta _{j}$. Формалније, као за сваки минимум, први изводи дивергенције нестају

$$\left.{\frac {\partial }{\partial \theta _{j}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))=0,$$

и по Тејлоровом развоју имамо до другог реда

$$D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\,\Delta \theta _{j}\,\Delta \theta _{k}\,g_{jk}(\theta _{0})+\cdots$$

где Хесијанова матрица дивергенције

$$g_{jk}(\theta _{0})=\left.{\frac {\partial ^{2}}{\partial \theta _{j}\,\partial \theta _{k}}}\right|_{\theta =\theta _{0}}D_{\text{KL}}(P(\theta )\parallel P(\theta _{0}))$$

мора бити позитивно семидефинитна. Допуштајући да $\theta _{0}$ варира (и испуштајући субиндекс 0) Хесијан $g_{jk}(\theta )$ дефинише (могуће дегенерисану) Риманову метрику на θ параметарском простору, названу Фишерова информациона метрика.

Теорема о Фишеровој информационој метрици

Када $p_{(x,\rho )}$ задовољава следеће услове регуларности:

$${\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}$$ постоје, $${\begin{aligned}\left|{\frac {\partial p}{\partial \rho }}\right|&amp;<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left|{\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right|&amp;<G(x):\int _{x=0}^{\infty }G(x)\,dx<\infty \\\left|{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right|&amp;<H(x):\int _{x=0}^{\infty }p(x,0)H(x)\,dx<\xi <\infty \end{aligned}}$$

где је ξ независно од ρ $$\left.\int _{x=0}^{\infty }{\frac {\partial p(x,\rho )}{\partial \rho }}\right|_{\rho =0}\,dx=\left.\int _{x=0}^{\infty }{\frac {\partial ^{2}p(x,\rho )}{\partial \rho ^{2}}}\right|_{\rho =0}\,dx=0$$

онда: $${\mathcal {D}}(p(x,0)\parallel p(x,\rho ))={\frac {c\rho ^{2}}{2}}+{\mathcal {O}}\left(\rho ^{3}\right){\text{ as }}\rho \to 0{\text{.}}$$

Варијација информације

Друга информационо-теоријска метрика је варијација информације, која је грубо симетризација условне ентропије. То је метрика на скупу партиција дискретног простора вероватноће.

MAUVE метрика

MAUVE је мера статистичког јаза између две дистрибуције текста, као што је разлика између текста генерисаног моделом и текста написаног од стране човека. Ова мера се израчунава коришћењем Кулбак—Лајблерових дивергенција између две дистрибуције у квантизованом простору уграђивања основног модела.

Однос са другим величинама теорије информација

Многе друге величине теорије информација могу се тумачити као примене релативне ентропије на специфичне случајеве.

Сопствена информација

Главни чланак: Информациони садржај

Сопствена информација, такође позната као информациони садржај сигнала, случајне променљиве или догађаја, дефинише се као негативни логаритам вероватноће датог исхода.

Када се примени на дискретну случајну променљиву, сопствена информација се може представити као

$$\operatorname {\operatorname {I} } (m)=D_{\text{KL}}\left(\delta _{\text{im}}\parallel \{p_{i}\}\right),$$

је релативна ентропија расподеле вероватноће $P(i)$ од Кронекерове делте која представља сигурност да је $i=m$ — тј. број додатних битова који се морају пренети да би се идентификовало i ако је пријемнику доступна само расподела вероватноће $P(i)$, а не чињеница да је $i=m$.

Међусобна информација

Главни чланак: Међусобна информација § Однос са Кулбак—Лајблеровом дивергенцијом

Међусобна информација,

$${\begin{aligned}\operatorname {I} (X;Y)&amp;=D_{\text{KL}}(P_{X,Y}\parallel P_{X}\cdot P_{Y})\\&amp;=\operatorname {E} _{X}[D_{\text{KL}}^{Y}(P_{Y\mid X}\parallel P_{Y})]\\&amp;=\operatorname {E} _{Y}[D_{\text{KL}}^{X}(P_{X\mid Y}\parallel P_{X})]\end{aligned}}$$

је релативна ентропија заједничке расподеле вероватноће $P_{X,Y}(x,y)$ од производа $(P_{X}\cdot P_{Y})(x,y)=P_{X}(x)P_{Y}(y)$ две маргиналне расподеле вероватноће — тј. очекивани број додатних битова који се морају пренети да би се идентификовали X и Y ако се кодирају користећи само њихове маргиналне расподеле уместо заједничке расподеле.

Шенонова ентропија

Шенонова ентропија,

$${\begin{aligned}\mathrm {H} (X)&amp;=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\&amp;=\log N-D_{\text{KL}}{\left(p_{X}(x)\parallel P_{U}(X)\right)}\end{aligned}}$$

је број битова који би требало пренети да би се идентификовао X из N једнако вероватних могућности, мање релативна ентропија униформне расподеле на случајним променљивим од X, $P_{U}(X)$, од праве расподеле $P(X)$ — тј. мање очекивани број сачуваних битова, који би морали бити послати да је вредност X кодирана према униформној расподели $P_{U}(X)$ уместо праве расподеле $P(X)$. Ова дефиниција Шенонове ентропије чини основу алтернативне генерализације Е. Т. Џејнса на непрекидне расподеле, гранична густина дискретних тачака (за разлику од уобичајене диференцијалне ентропије), која дефинише континуалну ентропију као $$\lim _{N\to \infty }H_{N}(X)=\log N-\int p(x)\log {\frac {p(x)}{m(x)}}\,dx{\text{,}}$$ што је еквивалентно са: $$\log(N)-D_{\text{KL}}(p(x)||m(x))$$

Условна ентропија

Условна ентропија,

$${\begin{aligned}\mathrm {H} (X\mid Y)&amp;=\log N-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\[5pt]&amp;=\log N-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&amp;=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&amp;=\log N-\operatorname {E} _{Y}\left[D_{\text{KL}}\left(P\left(X\mid Y\right)\parallel P_{U}(X)\right)\right]\end{aligned}}$$

је број битова који би требало пренети да би се идентификовао X из N једнако вероватних могућности, мање релативна ентропија праве заједничке расподеле $P(X,Y)$ од производне расподеле $P_{U}(X)P(Y)$ — тј. мање очекивани број сачуваних битова који би морали бити послати да је вредност X кодирана према униформној расподели $P_{U}(X)$ уместо условне расподеле $P(X|Y)$ од X датог Y.

Унакрсна ентропија

Када имамо скуп могућих догађаја, који долазе из расподеле p, можемо их кодирати (са компресијом података без губитака) користећи ентропијско кодирање. Ово компримује податке заменом сваког улазног симбола фиксне дужине одговарајућим јединственим, променљиве дужине, префикс-слободним кодом (нпр.: догађаји (A, B, C) са вероватноћама p = (1/2, 1/4, 1/4) могу се кодирати као битови (0, 10, 11)). Ако унапред познајемо расподелу p, можемо осмислити кодирање које би било оптимално (нпр.: коришћењем Хафмановог кодирања). То значи да ће поруке које кодирамо имати најкраћу дужину у просеку (под претпоставком да су кодирани догађаји узорковани из p), што ће бити једнако Шеноновој ентропији од p (означено као $\mathrm {H} (p)$). Међутим, ако користимо другачију расподелу вероватноће (q) приликом креирања шеме ентропијског кодирања, онда ће се користити већи број битова (у просеку) за идентификацију догађаја из скупа могућности. Овај нови (већи) број се мери унакрсном ентропијом између p и q.

Унакрсна ентропија између две расподеле вероватноће (p и q) мери просечан број битова потребних за идентификацију догађаја из скупа могућности, ако се користи шема кодирања заснована на датој расподели вероватноће q, уместо „праве” расподеле p. Унакрсна ентропија за две расподеле p и q над истим простором вероватноће се стога дефинише на следећи начин.

$$\mathrm {H} (p,q)=\operatorname {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\text{KL}}(p\parallel q)$$

За експлицитно извођење овога, погледајте одељак Мотивација изнад.

У овом сценарију, релативне ентропије (кл-дивергенција) се могу тумачити као додатни број битова, у просеку, који су потребни (преко $\mathrm {H} (p)$) за кодирање догађаја због коришћења q за конструкцију шеме кодирања уместо p.

Бајесово ажурирање

У Бајесовој статистици, релативна ентропија се може користити као мера добитка информација при преласку са априорне расподеле на апостериорну расподелу: $p(x)\to p(x\mid I)$. Ако се открије нека нова чињеница $Y=y$, она се може користити за ажурирање апостериорне расподеле за X од $p(x\mid I)$ до нове апостериорне расподеле $p(x\mid y,I)$ коришћењем Бајесове теореме:

$$p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}$$

Ова расподела има нову ентропију:

$$\mathrm {H} {\big (}p(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I){\text{,}}$$

која може бити мања или већа од оригиналне ентропије $\mathrm {H} (p(x\mid I))$. Међутим, са становишта нове расподеле вероватноће може се проценити да би коришћење оригиналног кода заснованог на $p(x\mid I)$ уместо новог кода заснованог на $p(x\mid y,I)$ додало очекивани број битова:

$$D_{\text{KL}}{\big (}p(x\mid y,I)\parallel p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log {\frac {p(x\mid y,I)}{p(x\mid I)}}$$

на дужину поруке. Ово стога представља количину корисних информација, или добитка информација, о X, која је научена откривањем $Y=y$.

Ако накнадно стигне још један податак, $Y_{2}=y_{2}$, расподела вероватноће за x се може даље ажурирати, дајући нову најбољу претпоставку $p(x\mid y_{1},y_{2},I)$. Ако се поново истражи добитак информација за коришћење $p(x\mid y_{1},I)$ уместо $p(x\mid I)$, испоставља се да он може бити или већи или мањи од претходно процењеног:

$$\sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}$$ може бити ≤ или > од ${\textstyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I)}}}$

и тако комбиновани добитак информација не поштује неједнакост троугла:

$$D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}$$ може бити <, = или > од $D_{\text{KL}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid y_{1},I){\big )}+D_{\text{KL}}{\big (}p(x\mid y_{1},I)\parallel p(x\mid I){\big )}$

Све што се може рећи је да ће се у просеку, узимајући просек коришћењем $p(y_{2}\mid y_{1},x,I)$, две стране изједначити.

Бајесов експериментални дизајн

Уобичајени циљ у Бајесовом експерименталном дизајну је максимизација очекиване релативне ентропије између априорне и апостериорне расподеле. Када се апостериорне расподеле апроксимирају као Гаусове расподеле, дизајн који максимизује очекивану релативну ентропију назива се Бајесов д-оптималан.

Дискриминациона информација

Релативна ентропија ${\textstyle D_{\text{KL}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}$ се такође може тумачити као очекивана дискриминациона информација за $H_{1}$ у односу на $H_{0}$: средња информација по узорку за дискриминацију у корист хипотезе $H_{1}$ против хипотезе $H_{0}$, када је хипотеза $H_{1}$ тачна. Други назив за ову количину, који јој је дао И. Џ. Гуд, је очекивана тежина доказа за $H_{1}$ у односу на $H_{0}$ која се очекује од сваког узорка.

Очекивана тежина доказа за $H_{1}$ у односу на $H_{0}$ није исто што и добитак информација који се очекује по узорку о расподели вероватноће $p(H)$ хипотеза,

$$D_{\text{KL}}(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I)){\text{.}}$$

Било која од ове две величине може се користити као функција корисности у Бајесовом експерименталном дизајну, за избор оптималног следећег питања за истраживање: али ће оне уопштено довести до прилично различитих експерименталних стратегија.

На скали ентропије добитka информација постоји врло мала разлика између скоро сигурности и апсолутне сигурности — кодирање према скоро сигурности захтева једва нешто више битова од кодирања према апсолутној сигурности. С друге стране, на логит скали коју имплицира тежина доказа, разлика између ове две је огромна – можда бесконачна; ово би могло одражавати разлику између тога да сте скоро сигурни (на вероватносном нивоу) да је, рецимо, Риманова хипотеза тачна, у поређењу са тим да сте сигурни да је тачна јер имате математички доказ. Ове две различите скале функција губитка за несигурност су обе корисне, у зависности од тога колико добро свака одражава специфичне околности проблема у питању.

Принцип минималне дискриминационе информације

Идеја релативне ентропије као дискриминационе информације навела је Кулбака да предложи Принцип Минималне дискриминационе информације (MDI): с обзиром на нове чињенице, треба изабрати нову расподелу f коју је што теже разликовати од оригиналне расподеле $f_{0}$; тако да нови подаци производе што мањи добитак информација $D_{\text{KL}}(f\parallel f_{0})$.

На пример, ако бисмо имали априорну расподелу $p(x,a)$ над x и a, а накнадно сазнали да је права расподела a била $u(a)$, онда би релативна ентропија између нове заједничке расподеле за x и a, $q(x\mid a)u(a)$, и раније априорне расподеле била:

$$D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\right\}+D_{\text{KL}}(u(a)\parallel p(a)),$$

тј. збир релативне ентропије $p(a)$, априорне расподеле за a, од ажуриране расподеле $u(a)$, плус очекивана вредност (користећи расподелу вероватноће $u(a)$) релативне ентропије априорне условне расподеле $p(x\mid a)$ од нове условне расподеле $q(x\mid a)$. (Приметите да се често каснија очекивана вредност назива условном релативном ентропијом (или условном Кулбак—Лајблеровом дивергенцијом) и означава са $D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))$) Ово се минимизује ако је $q(x\mid a)=p(x\mid a)$ над целом подршком $u(a)$; и примећујемо да овај резултат укључује Бајесову теорему, ако је нова расподела $u(a)$ заправо δ функција која представља сигурност да a има једну одређену вредност.

MDI се може посматрати као проширење Лапласовог Принципа недовољног разлога и Принципа максималне ентропије Е. Т. Џејнса. Посебно, то је природно проширење принципа максималне ентропије са дискретних на континуалне расподеле, за које Шенонова ентропија престаје да буде толико корисна (видети диференцијална ентропија), али релативна ентропија наставља да буде једнако релевантна.

У инжењерској литератури, MDI се понекад назива Принцип минималне унакрсне ентропије (MCE) или скраћено Minxent. Минимизовање релативне ентропије од m до p у односу на m је еквивалентно минимизовању унакрсне ентропије p и m, пошто је

$$\mathrm {H} (p,m)=\mathrm {H} (p)+D_{\text{KL}}(p\parallel m),$$

што је прикладно ако се покушава изабрати адекватна апроксимација за p. Међутим, ово често није задатак који се покушава постићи. Уместо тога, једнако често је m нека фиксна априорна референтна мера, а p је оно што се покушава оптимизовати минимизовањем $D_{\text{KL}}(p\parallel m)$ под неким ограничењем. Ово је довело до одређене двосмислености у литератури, при чему неки аутори покушавају да реше недоследност редефинисањем унакрсне ентропије као $D_{\text{KL}}(p\parallel m)$, уместо $\mathrm {H} (p,m)$.

Однос са расположивим радом

График притиска у односу на запремину расположивог рада из мола гаса аргона у односу на околину, израчунат као $T_{o}$ пута Кулбак—Лајблерова дивергенција

Изненађења се сабирају тамо где се вероватноће множе. Изненађење за догађај вероватноће p дефинише се као $s=-k\ln p$. Ако је k $\left\{1,1/\ln 2,1.38\times 10^{-23}\right\}$, онда је изненађење у $\{$натима, битовима, или $J/K\}$ тако да, на пример, има N битова изненађења за добијање свих „глава” при бацању N новчића. Најбоља претпостављена стања (нпр. за атоме у гасу) се закључују максимизирањем просечног изненађења S (ентропија) за дати скуп контролних параметара (као што су притисак P или запремина V). Ова ограничена максимизација ентропије, како класично тако и квантно механички, минимизује Гибсову доступност у јединицама ентропије $A\equiv -k\ln Z$ где је Z ограничена мултиплицитност или партициона функција.

Када је температура T фиксна, слободна енергија ($T\times A$) се такође минимизује. Тако, ако су $T,V$ и број молекула N константни, Хелмхолцова слободна енергија $F\equiv U-TS$ (где је U енергија, а S ентропија) се минимизује док се систем „уравнотежује”. Ако се T и P држе константним (рецимо током процеса у вашем телу), Гибсова слободна енергија $G=U+PV-TS$ се уместо тога минимизује. Промена слободне енергије под овим условима је мера расположивог рада који би се могао извршити у процесу. Тако је расположиви рад за идеални гас на константној температури $T_{o}$ и притиску $P_{o}$ $W=\Delta G=NkT_{o}\Theta (V/V_{o})$ где је $V_{o}=NkT_{o}/P_{o}$ и $\Theta (x)=x-1-\ln x\geq 0$ (видети такође Гибсова неједнакост).

Уопштеније рад доступан у односу на неку околину добија се множењем температуре околине $T_{o}$ са релативном ентропијом или нето изненађењем $\Delta I\geq 0,$ дефинисаним као просечна вредност $k\ln(p/p_{o})$ где је $p_{o}$ вероватноћа датог стања под условима околине. На пример, рад доступан при уравнотежењу моноатомског идеалног гаса на вредности околине $V_{o}$ и $T_{o}$ је стога $W=T_{o}\Delta I$, где је релативна ентропија

$$\Delta I=Nk\left[\Theta {\left({\frac {V}{V_{o}}}\right)}+{\frac {3}{2}}\Theta {\left({\frac {T}{T_{o}}}\right)}\right].$$

Резултујуће контуре константне релативне ентропије, приказане десно за мол Аргона на стандардној температури и притиску, на пример, постављају границе на претварање топлог у хладно као у климатизацији на пламен или у неуправљаном уређају за претварање кључале воде у ледену воду овде разматраном. Тако релативна ентропија мери термодинамичку доступност у битовима.

Квантна теорија информација

За матрице густине P и Q на Хилбертовом простору, квантна релативна ентропија од Q до P се дефинише као

$$D_{\text{KL}}(P\parallel Q)=\operatorname {Tr} (P(\log P-\log Q)).$$

У квантној информационој науци минимум $D_{\text{KL}}(P\parallel Q)$ над свим сепарабилним стањима Q се такође може користити као мера уплетености у стању P.

Однос између модела и стварности

Види још: Процена максималне веродостојности § Однос са минимизацијом Кулбак—Лајблерове дивергенције и унакрсне ентропије

За више информација погледајте: Избор модела

Као што релативна ентропија „стварног од амбијенталног” мери термодинамичку доступност, релативна ентропија „стварности од модела” је такође корисна чак и ако су једини трагови које имамо о стварности неки експериментални подаци. У првом случају, релативна ентропија описује удаљеност до равнотеже или (када се помножи са температуром околине) количину расположивог рада, док у другом случају говори о изненађењима која стварност има у рукаву, или другим речима, колико модел још мора да научи.

Иако се овај алат за процену модела у односу на системе који су експериментално доступни може применити у било којој области, његова примена на избор статистичког модела путем Акаикеовог информационог критеријума је посебно добро описана у радовима и књизи Бернама и Андерсона. Укратко, релативна ентропија стварности од модела може се проценити, до на константни адитивни члан, функцијом одступања уочених између података и предвиђања модела (као што је средње квадратно одступање). Процене такве дивергенције за моделе који деле исти адитивни члан могу се заузврат користити за избор између модела.

При покушају уклапања параметризованих модела у податке постоје различити проценитељи који покушавају да минимизују релативну ентропију, као што су проценитељи максималне веродостојности и максималног размака.

Симетризована дивергенција

Kullback & Leibler (1951) су такође разматрали симетризовану функцију:

$$D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)$$ коју су називали „дивергенцијом”, иако се данас „КЛ дивергенција” односи на асиметричну функцију (видети § Етимологија за еволуцију термина). Ова функција је симетрична и ненегативна, а већ ју је дефинисао и користио Харолд Џефриз 1948. године; сходно томе, назива се Џефризова дивергенција.

Ова величина се понекад користила за избор обележја у проблемима класификације, где су P и Q условне функције густине вероватноће обележја под две различите класе. У банкарској и финансијској индустрији, ова величина се назива Индекс стабилности популације (PSI), и користи се за процену дистрибуционих померања у обележјима модела током времена.

Алтернатива је дата преко $\lambda$-дивергенције,

$$D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q){\text{,}}$$

што се може тумачити као очекивани добитак информација о X из откривања из које расподеле вероватноће је X извучен, P или Q, ако тренутно имају вероватноће $\lambda$ и $1-\lambda$ респективно.

Вредност $\lambda =0.5$ даје Јенсен—Шенонову дивергенцију, дефинисану са

$$D_{\text{JS}}={\tfrac {1}{2}}D_{\text{KL}}(P\parallel M)+{\tfrac {1}{2}}D_{\text{KL}}(Q\parallel M)$$

где је M просек две дистрибуције,

$$M={\tfrac {1}{2}}\left(P+Q\right){\text{.}}$$

Такође можемо тумачити $D_{\text{JS}}$ као капацитет бучног информационог канала са два улаза који дају излазне расподеле P и Q. Јенсен—Шенонова дивергенција, као и све f-дивергенције, је локално пропорционална Фишеровој информационој метрици. Слична је Хелингеровој метрици (у смислу да индукује исту афину везу на статистичкој многострукости).

Штавише, Јенсен—Шенонова дивергенција се може генерализовати коришћењем апстрактних статистичких М-мешавина ослањајући се на апстрактну средину М.

Однос са другим мерама вероватносне раздаљине

Постоје многе друге важне мере вероватносне раздаљине. Неке од њих су посебно повезане са релативном ентропијом. На пример:

• Раздаљина тоталне варијације, $\delta (p,q)$. Ово је повезано са дивергенцијом путем Пинскерове неједнакости: $$\delta (P,Q)\leq {\sqrt {{\tfrac {1}{2}}D_{\text{KL}}(P\parallel Q)}}.$$ Пинскерова неједнакост је празна за било које расподеле где је $D_{\mathrm {KL} }(P\parallel Q)>2$, пошто је раздаљина тоталне варијације највише 1. За такве расподеле, може се користити алтернативна граница, захваљујући Бретањолу и Хуберу (видети, такође, Цибаков): $$\delta (P,Q)\leq {\sqrt {1-e^{-D_{\mathrm {KL} }(P\parallel Q)}}}.$$
• Породица Рењијевих дивергенција генерализује релативну ентропију. У зависности од вредности одређеног параметра, $\alpha$, могу се извести различите неједнакости.

Друге значајне мере раздаљине укључују Хелингерову раздаљину, пресек хистограма, хи-квадрат статистику, раздаљину квадратне форме, раздаљину поклапања, Колмогоров—Смирнов раздаљину, и раздаљину земљопомерача.

Разликовање података

Главни чланак: Разликовање података

Као што апсолутна ентропија служи као теоријска основа за компресију података, релативна ентропија служи као теоријска основа за разликовање података – апсолутна ентропија скупа података у овом смислу је податак потребан за његову реконструкцију (минимална компримована величина), док је релативна ентропија циљног скупа података, с обзиром на изворни скуп података, податак потребан за реконструкцију циља с обзиром на извор (минимална величина печа).

Види још

• Акаикеов информациони критеријум
• Бајесов информациони критеријум
• Брегманова дивергенција
• Унакрсна ентропија
• Информациони критеријум девијантности
• Ентропијска вредност под ризиком
• Неједнакост ентропијске снаге
• Хелингерова раздаљина
• Додатак информације у стаблима одлучивања
• Однос информационог добитка
• Теорија информација и теорија мере
• Јенсен—Шенонова дивергенција
• Квантна релативна ентропија
• Соломон Кулбак и Ричард Лајблер
• Батачаријина раздаљина

Литература

• Amari, Shun-ichi (2016). Information Geometry and Its Applications [Информациона геометрија и њене примене]. Applied Mathematical Sciences. 194. Springer Japan. стр. XIII, 374. ISBN 978-4-431-55977-1. doi:10.1007/978-4-431-55978-8. 
• Kullback, Solomon (1959), Information Theory and Statistics [Теорија информација и статистика], John Wiley & Sons . Republished by Dover Publications in 1968; reprinted in 1978: ISBN 0-8446-5625-9.
• Jeffreys, Harold (1948). Theory of Probability [Теорија вероватноће] (Second изд.). Oxford University Press. 

Спољашње везе

• Information Theoretical Estimators Toolbox
• Ruby gem за израчунавање Кулбак—Лајблерове дивергенције
• Туторијал Џона Шленса о Кулбак—Лајблеровој дивергенцији и теорији веродостојности
• Matlab код за израчунавање Кулбак—Лајблерове дивергенције за дискретне расподеле Архивирано 2007-09-29 на сајту Wayback Machine
• Sergio Verdú, Relative Entropy, NIPS 2009. Једночасовно видео предавање.
• Савремени преглед инфо-теоријских мера дивергенције