Teorija

Informācijas daudzuma mērīšana
Svarīgi!
Ja jau informācija samazina nenoteiktību jeb neziņu, tad par informācijas daudzumu var spriest, novērtējot nenoteiktības samazināšanos.
Ja sākumā bija četras vienlīdzīgas iespējas, no kurām jāatrod pareizā, bet vēlāk iespēju skaitu izdevās samazināt līdz divām, tad nenoteiktība samazinājās 4/2=2 reizes.
 
Svarīgi!
Informācijas daudzuma skaitlisko vērtību iegūst no nenoteiktības samazināšanās, izmantojot tādu funkciju kā fx=log2x - logaritmu pie bāzes 2. *
Iegūtais skaitlis ir informācijas daudzums. Un mērvienība ir bits.
(Tās vērtība pasaka, kādā pakāpē jākāpina skaitlis 2, lai sanāktu skaitlis x. Tas ir, ja x=2a, tad log2x=a.
Tajos gadījumos, kad noteikt šo vajadzīgo kāpinātāju nav tik viegli, var izmantot kalkulatoru un sakarību log2x=lnxln2.)
 
Piemērs:
1) Ja nenoteiktība samazinājās 2 reizes, tad iegūtās informācijas daudzums ir log22=1 bits (jo 2=21).
 
2) Dots 8x8 rūtiņu laukums. Viena no šīm 64 rūtiņām ir īstā, kura ir jāatrod. Cik daudz informācijas jāiegūst, lai to izdarītu?
Risinājums. Sākumā ir 64 iespējas pareizajai rūtiņai, pēc īstās rūtiņas atrašanas - protams, ka tikai viena. Tas nozīmē, ka meklēšanas procesā nenoteiktība jāsamazina 64/1=64 reizes. 64=26, tāpēc log264=6 un vajadzīgais informācijas daudzums ir 6 biti.
 
  
* Šādi aprēķināt iegūtās informācijas daudzumu var tikai pašā vienkāršākajā variantā - kad sākumā ir n vienlīdzīgi varianti, bet tad izdodas daļu no tiem atmest kā nepareizus.