Entropie (informatietheorie)


Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.

De verwachte (vaak gemiddelde genoemd) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren.

Bij een entropie 0 is er geen onzekerheid: men heeft volledige kennis over wat er komen gaat en deze informatie bevat dus ook geen "nieuws". Bij een maximale onzekerheid (bv. bij een getoonde willekeurige symbolenreeks) is de entropie gelijk aan \({\displaystyle \log _{2}n}\) (met \({\displaystyle n}\) de lengte van de reeks): elke gebeurtenis is onverwacht en dus nieuw.

Bedacht dient te worden dat entropie een subjectief emergent oordeel vooronderstelt over de betekenis van de reeks gebeurtenissen: iemand die geen betekenis kan hechten aan de reeks gebeurtenissen (bv. een analfabeet die een tekst van \({\displaystyle n}\) tekens ziet passeren) zal een entropie \({\displaystyle log_{2}n}\) aan deze reeks toekennen. Ook kunnen twee waarnemers die verschillen in kennisniveau/onwetendheid, een verschillende entropie toekennen aan dezelfde reeks gebeurtenissen.

Definitie


Stel dat \({\displaystyle u_{1},\ldots ,u_{n}}\) de mogelijke uitkomsten zijn bij een experiment \({\displaystyle A}\). De kans van optreden van de uitkomst \({\displaystyle u_{i}}\) is \({\displaystyle p_{i}}\). Een dergelijk experiment wordt beschreven door de discrete verdeling bepaald door de kansen \({\displaystyle p_{i}}\), of ook door een discrete stochastische variabele \({\displaystyle X}\) met deze kansverdeling. De uitkomst \({\displaystyle u_{i}}\) bevat een hoeveelheid zelfinformatie \({\displaystyle H(u_{i})=-\log _{2}(p_{i})}\).

De entropie \({\displaystyle H}\) van het experiment, of van de kansverdeling, of ook van \({\displaystyle X}\), is de verwachte hoeveelheid informatie:

\({\displaystyle {\rm {H}}(p)={\rm {E}}\,{\rm {H}}(X)=\sum _{i=1}^{n}p_{i}(-\log _{2}(p_{i}))=-\sum _{i=1}^{n}p_{i}\log _{2}(p_{i})}\) bit.

Als niet de binaire logaritme maar de natuurlijke logaritme gebruikt wordt, heet de eenheid waarin de entropie gemeten wordt de nat; wordt de briggse logaritme gebruikt, dus met grondtal 10, dan heet de eenheid de ban.

Bewijsbaar is dat de entropie van een experiment met N mogelijke uitkomsten nooit meer is dan \({\displaystyle log_{2}N}\) bit, en dat deze wordt bereikt als elke uitkomst een even grote kans \({\displaystyle 1/N}\) heeft.

Omdat de definitie van entropie enigszins contra-intuïtief is (grotere entropie bij meer onzekerheid), wordt soms het begrip negentropie (negatieve entropie) gebruikt, waar een negentropie van 0 staat voor totale onzekerheid/onwetendheid en de zekerheid van informatie alleen maar toeneemt bij toenemende negentropie. Negentropie is dan de afstand van de beschouwde kansverdeling tot die van een totaal willekeurige.

Voorbeeld


Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand geheel willekeurige een letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De entropie van dit experiment is dan

\({\displaystyle H(A)=-\sum _{i=1}^{n}p_{i}\cdot \log _{2}(p_{i})=-{\tfrac {6}{26}}\cdot \log _{2}({\tfrac {6}{26}})-({\tfrac {20}{26}})\cdot \log _{2}({\tfrac {20}{26}})=0{,}488+0{,}291=0{,}779}\) bit.

Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. De entropie is dus niet meer dan 1 bit.

Relatie met thermodynamica


Het begrip entropie is bekender in de thermodynamica dan in de informatietheorie, maar de definitie ervan in de informatietheorie heeft veel overeenkomsten. Het werk van Boltzmann en Gibbs aan statistische thermodynamica inspireerde Shannon om het begrip in de informatietheorie te gebruiken.

Alleen de tweede wet van de thermodynamica, die hier zou neerkomen op een vooronderstelde natuurlijke neiging om verschillen in "onwetendheid" af te vlakken, waardoor de totale entropie toe zou nemen, heeft geen equivalent in de informatietheorie.










Categorieën: Informatietheorie




Staat van informatie: 27.09.2021 08:35:15 CEST

oorsprong: Wikipedia (Auteurs [Geschiedenis])    Licentie: CC-BY-SA-3.0

Veranderingen: Alle afbeeldingen en de meeste ontwerpelementen die daarmee verband houden, zijn verwijderd. Sommige pictogrammen werden vervangen door FontAwesome-Icons. Sommige sjablonen zijn verwijderd (zoals 'artikel heeft uitbreiding nodig') of toegewezen (zoals 'hatnotes'). CSS-klassen zijn verwijderd of geharmoniseerd.
Specifieke Wikipedia-links die niet naar een artikel of categorie leiden (zoals 'Redlinks', 'links naar de bewerkpagina', 'links naar portals') zijn verwijderd. Elke externe link heeft een extra FontAwesome-Icon. Naast enkele kleine wijzigingen in het ontwerp, werden mediacontainer, kaarten, navigatiedozen, gesproken versies en Geo-microformats verwijderd.

Belangrijke opmerking Omdat de gegeven inhoud op het gegeven moment automatisch van Wikipedia wordt gehaald, was en is een handmatige verificatie niet mogelijk. Daarom garandeert LinkFang.org niet de juistheid en actualiteit van de verkregen inhoud. Als er informatie is die momenteel verkeerd is of een onjuiste weergave heeft, aarzel dan niet om Neem contact op: E-mail.
Zie ook: Afdruk & Privacy policy.