Bu bölümünde, enformasyon kuramı içinde yer alan entropi ölçümünün, işlem süreci ve formülünün biçimlenmesi aşamaları ile anlatılmaktadır.
Eğer bir sistemin durumuna ilişkin sadece 1 kategori varsa, onun olasılık miktarı da en yüksek olur. Sayısal değeri 1 olmaktadır. Buna bağlı olarak, bilinen bir durumun entropi miktarı en düşüktür. Sayısal değeri 0 olmaktadır. (Stamps, 2003; Williams, 1997). Sınıf sayılarının (seçim olasılıklarının) artışı ile enformasyon miktarı da artmaktadır. Daha basitleşmiş bir şekilde, bütün durumlar eşit olasılıklı olduğunda, enformasyon (I) ve olası durumların sayısı (N ) arasında orantısal bir ilişki S
kurabilmektedir.
S
N
I ∝ . (A.1)
Burada ∝ , orantılıdır anlamına gelmektedir. Bu orantısallık, olasılık sabiti c1 ile
yapılır:
S
N c
I = 1 . (A.2)
Araştırmacılar, enformasyonu iki ayrı sistem için tanımlamaktadır. Her ikisi de iki ayrı sistemi bir birleşik sisteme dönüştürmeyi içermektedir. Birleşik sistemin enformasyon miktarı, iki birleşmiş sistemin bir biri ile toplam enformasyon miktarına eşit olmalı ve olası durumlar birleşik sistemde, iki ayrı sisteme doğru bir şekilde bağlantılı olmalıdır. Aşağıda iki sistemin birleşik sisteme nasıl dönüştüğü ve sistemdeki durum sayıları gösterilmektedir (Şekil A.1).
Sistem X Sistem Y Birleşik Sistem
y1 x1,y1 x2,y1
x1 x2 y2 x1,y2 x2,y2
y3 x1,y3 x2,y3
Şekil A.1: İki Ayrı Sistemin Birleşik Sisteme Dönüşümünün Şematik Gösterimi. İki bölümü (X) olan sistemle üç bölümü olan (Y) sistemin birleştirilmesinde ortaya çıkan birleşik sistemin 2×3 = 6 bölümü olur. Burada, üssel eşitlik bulunmaktadır. Üssel eşitlik, bağımlı değişkeni yükselen üstü olan bir sabite eşitler ve bu üst de bağımsız değişkeni içermektedir. İki ayrı sistemden bir birleşik sistem oluşturmada iki koşul yerine getirilmelidir. Bunlar, enformasyonu eklemesi ve durum sayılarına çarpmasıdır.
Birleşik bir sistemdeki doğru sayıda olası durumlar, NS için X kere Y sonuç
ürünüdür; ya da NS = NxNY’dir. Burada Nx×NY yerine NS yazılırsa;
) (IX IY S taban N + ∝ . (A.3a) olur.
Yapılan işlemle, enformasyon üst konumuna taşınmaktadır. (A.3) denklemi, olası durum saylarının çarpımıdır (NXNY). Böylece, iki koşul gerçekleşmiş olur. Aynı zamanda iki enformasyon değeri toplanarak birinci koşul karşılanır.
Denklem (A.3) orantısallığı, enformasyon için her iki tarafın logaritması alınarak, )
log( ) (
logNS ∝ Ix +IY × taban . (A.3.b)
Denklemin sağ tarafına, bir c2 sabiti eklenmesi orantısallığı bir eşitlik haline getirir
ve (IX +IY), I olarak tanımlarsa,
I c
NS 2
log = log(taban). (A.4)
elde edilir. Bu logaritmik eşitlikten I enformasyonu çözebilmek için iki taraf ]
log(
[c2 taban ile bölünür. Böylece aşağıdaki eşitlik elde edilir.
I=logNS /[c2log(taban)]. (A.5)
Burada c2 ve (taban logaritması) birer sabittir, logaritma için hangi tabanın (2,10, e,
vd.) seçildiği önemli değildir. Buna bağlı olarak, [c2log(taban)] karşıtı gibi
I/[c2log(taban)], da sabittir. Bu ikinci sabit c harfi ile tanımlanırsa, enformasyonun
sınıf sayıları ile ilişkilendirildiği model eşitliği aşağıda görüldüğü şekli almıştır.
I = c log N . S (A.6)
Enformasyon konusundaki gelişmeler, enformasyonu olası durumların sayısı ya da seçimleri N ile iliS şkilendirmiştir. “Standart bir altı yüzlü zar atıldığında, altı
yüzünden her birinin ortaya çıkma olasılığı eşit şansa sahiptir. Bu durumda sınıflar için olası girdi sayısı altıdır. Bu altı durum içinden her hangi birinin elde edilme olasılığı 1/6’dır. Böylece eşit olasılıklı durumlar için herhangi bir sınıfın olasılığı, basitçe bütün olası seçimlerin sayısı NS’nin tersidir. Bu da, P=1/NS’dir.
İşlem aşamaları gerçekleştikten sonra duruma bağlı olarak, iki (2) tabanı ya da (e) tabanı seçilebilir. C sabiti 1 olursa aşağıda görülen eşitlikler gerçekleşmektedir.
I = log2(1/P). (A.7a)
ya da;
I = −log2P. (A.7b)
binary (ikili)’dir. Bilgisayar programlarında ikili kodlama yapılmaktadır ve ikili sayılar (binary digit) kullanılmaktadır. Burada kullanılan iki rakam 0 ve bir 1 olmaktadır. Binary digitin kısaltılmış hali, “bit” tir ve yaygın olarak kullanılan şekli de budur. İki tabanlı logaritmalarda “bit”’ler enformasyon birimi olmaktadır. Bit, iki olası girdiye bağlı olarak türetildiği halde, logaritmaları iki tabanında alındığında herhangi bir sayının olası girdileri için kullanılmaktadır (Williams, 1997).
“Tablo A.1”, üç bileşen olan olası durumların sayısı, olasılık ve enformasyonun nasıl birbirini etkilediğini bir başka bakış açısı ile göstermektedir. Tablonun ilk sütunu geometrik gridleri, ikinci sütun, onların olası durumlarının sayısını ya da NS
bölümlerini ve üçüncü sütun, birbirini karşılayan olasılıkları P içermektedir. Grideki herhangi bir eşit olasılıklı karenin belirlenmesi herhangi bir tarafsız yöntemle yapıldığında olasılıklar eşittir. Dördüncü sütunda görüldüğü gibi, (A.7a) denklemi ile hesaplanan enformasyonun, bit cinsinden sayısal değerini içermektedir. Bit değerleri her bir bölmenin (gridin), ikinin katları olduğu zaman tamsayı olur.
Tablo A.1 Eşit ve Benzer Veri Durumunda, Olasılıklar ve Enformasyon (Rasband’tan sonra 1990:196, Williams, 1997).
Enformasyon I Olası Durumların Olasılık = log2(1/P) Sayısı P = log2NS
Grid NS = 1/Ns (in bits)
1 1 0
2 0.5 1
4 0.25 2
8 0.125 3
Yukarıdaki tabloda, en üst sıradaki veri tek bölümlü durumdadır. Burada bir şekilde her hangi bir denemede, sonuç kesin olmaktadır ve her şey sayısal olarak bu kutu dâhilindedir. Bu tip kesin şeylerde olasılık, P=1 olur. (A.7a) denklemine göre hesaplanan enformasyon, log2(1/P)burada, log2(1/1)=log2(1)=0olur.
Enformasyon kuramı yaklaşımı ile (A.7a) denklemi, tek bir biçimde ve biliniyorsa bu durumda yeni hiçbir şey öğrenilmemektedir. Bilinen şey yeniden öğrenildiğinde, mantıksal olarak, kazanılan enformasyon miktarı sıfırdır. Bu da enformasyon eşitliğinin (A.7a) neden logaritmayı içerdiğine dair bir başka açıklama olarak görülmektedir.
Dördüncü sütundaki enformasyonun sayısal değeri, tablodan aşağı inildikçe yükselir. Tabloda, olası veriler eşit olduğunda, olası durumların sayısı NS ile ilişkili olarak,
sonucu öğrenmede enformasyon miktarının arttığını ikinci sütunda göstermektedir. Aynı zamanda üçüncü sütunda görüldüğü gibi eşit olasılıklı durumların sayısı NS
arttıkça olasılık değeri azalır 1/NS ve enformasyon miktarı da artar” (Williams,
1997).
Tüm sistemin sadece iki bölmesi bulunuyorsa, sistemin enformasyonu (ağırlıklı toplam) P1I1+P2I2 olur. Entropi, enformasyonun ağırlıklı toplamı şeklinde
tanımlanır. Toplamlar işleme katılarak, aşağıda görülen entropi denklemi elde edilir.
i N i i P P H S / 1 log( 1
∑
= ≅ ). (A.8a) veya; i N i i P P H S log 1∑
= − ≅ . (A.8b) olarak verilir.Ağırlıklı toplam, ortalama değeri de içermektedir. Bu bakımdan, entropi enformasyonun ortalama değeridir. Yukarıda görünen (A.8a-8b) denklemi, Shannon
yaklaşımları bulunan, Boltzmann ve Renyi’nin entropi formülleri aşağıda görülmektedir.
Boltzmann’ın H kuramı, parçacıkların sonuç dağılımına bakmaksızın eşitlik dağılımına doğru yönelme eğilimi olduğunu anlatmaktadır. Burada H değeri, bir sistemin eşitlik durumundan ne kadar sapma gösterdiğini ölçmektedir. Bu değer;
∑
= pi e pi
H log . (A.9)
şeklinde tanımlanmaktadır.
Boltzmann’ın tanımladığı, istatistiksel entropi düzensizliğin, rastlantısallığın ve kaosun ölçümü olarak kullanılabilir. Birden fazla sistem varsa, entropiler toplanabilir, (S=S +1 S2). Olasılıklar da, çarpımsaldır, (W = W1W2).
“Boltzmann entropisinin en önemli girdisi, onun düzensizliğin göstergesi ve kaosun ölçümü olmasıdır. Bu durum belirsizlikle birlikte, Shannon’un enformasyon kuramına yönlendirmektedir. Belirsizliğin fazlalığı, karmaşık yapıların fazlalığı anlamına gelmektedir ve bu da yüksek olasılığa ve yüksek entropiye yol açmaktadır. Belirsizlik de karmaşıklığın ana göstergesidir” (Çambel, 1993).
“Renyi aşağıdaki formüllerle, olasılıksal entropiyi geliştirmiştir. Renyi’nin entropi yaklaşımı, fraktal geometri ile de ilişkilidir.” (Principe ve Xu, 1999).
(A.10) Düzen hareketleri için, {q} olasılıklar için {pi} q, 1’e eşit olmadığı zaman ve tamsayı olması da önemli değildir. Çünkü fraktallerin tamsayı olmayan tanımlar bulunmaktadır ve bu işlem fraktaller için uygundur. q = 1 olduğunda, bu eşitlik iyi bilinen istatistiksel entropi eşitliğine dönüşmektedir.
(A.11)
∑
= − = N i q i q p q S 1 log 1 1 i N i i p p S log 1∑
= − =EK: B