Теорија информације

Теорија информације је математичка дисциплина настала у 20. веку. Логаритамски израз за количину информације је предложио Хартли 1928. године, у свом раду "Пренос информације". Затим ју је 1948. поопштио амерички инжењер и математичар Клод Шенон, и нешто раније, руски математичар Андреј Николајевич Колмогоров. Исте 1948. године је амерички математичар Норберт Винер у свом раду "Кибернетика" изнео свој приступ количини информације система. Десило се да је Математичка теорија информације настала "одједном", малтене у неколико радова зачетника и да је у тим радовима "нацртан" оквир за целу будућу дисциплину. Покретачко место целог тог развоја је откриће, математичка дефиниција појма "количина података". И данас се сматра да је идеју за мерење количине информације први добио управо амерички инжењер Хартили 1928. године, али му историја математике не придаје велики значај можда због нејасноћа и (математички) непрецизних објашњења.

Информација

Математичко тврђење, односно математички исказ је израз, питање на које је могућ одговор Тачно, односно Нетачно. То је основа тзв. бинарне логике. Помоћу бинарне логике је могуће дефинисати сваки исказ поливалентне логике. Ове посљедње математичке логике, поред бинарних вредности: $\top ,\bot$, тј. тачно, нетачно, укључују читав спектар одговора "можда".

Хартлијева дефиниција

Када желимо једноставан одговор "да" или "не" постављамо питања која почињу са: "Да ли је ...". На пример питање "Да ли је ова подлога бела?" тражи једноставнији одговор од питања: "Какве је боје ова подлога?". У првом случају имамо само дилему да-не, у другом случају имамо спектар боја. Када имамо спектар боја имамо већу дилему, па ћемо рећи да је тада неизвесност већа.

На пример, када имамо 8 једнако могућих избора за боју подлоге, а не знате коју сам замислио као следећи избор, морате ми постављати више од једног бинарног питања да бисте дошли до одговора. Рећи ћемо да је зато већа неодређеност избора. Тачније:

Неодређеност је најмања количина података потребних за препознавање датог елемента.

Неодређеност исказа се може дефинисати као најмањи број питања чији је једини допустив одговор да-не, потребних да се дође до одговора. Свако тако постављено питање дефинишемо као један бит. Дакле број бита је број бинарних питања.

Колико бинарних питања треба поставити, да би се сазнао један од 8 бројева? Одговор је 3. На пример, замислили сте број 6.

1. питање: Да ли је то један од бројева 1, 2, 3, 4? Одговор: Не.

2. питање: Да ли је то један од бројева 5, 6? Одговор: Да.

3. питање: Да ли је то број 5? Одговор: Не.

Решење: Замишљени број је био 6.

Број (бинарних) питања је 3. Неодређеност замишљеног броја била је 3. Информација коју добијамо сазнањем замишљеног броја је 3.

Колико бинарних питања треба поставити да би се сазнао један од 16 бројева? Одговор је 4. Уопште, колико бинарних питања треба поставити да би се сазнао један од $2^{n}$ бројева? Одговор је n.

Амерички инжењер Р. В. Л. Хартли је у свом раду "Пренос информације", 1928. предложио да се количина информације дефинише помоћу логаритма броја једнако вероватних могућности избора. То је наставак претходних примера.

Када имамо $n=1,2,3,...$ једнако вероватних елемената, тада је вероватноћа избора једног од њих $p=P(n)={\frac {1}{n}}$. Информација, тј. количина информације коју добијамо сазнањем једне од n једнако вероватних вести, према Хартлију је:

$I(p)=-log_{2}P(n)=log_{2}n$.

На пример, логаритам по бази два од 1 је 0, од 2 је 1, од 4 је 2, од 8 је 3, од 16 је 4, итд.

Количина информације, зовемо је кратко информација, коју добијамо након случајног опита са једнаковероватним исходима, je логаритам по бази 2 вероватноће тог опита.