Sürekli zaman markov zincirleri ve bir kayıp kuyruğu modeli

Zaman içerisinde sürekli bir değişim halinde bulunan bir 𝑂{𝑋(𝑡), 𝑡 ≥ 0} süreciyle ilgileniriz. Süreç içinde bulunan 𝑡 zamanında 𝑋(𝑡) durumu mümkün her durum kümesi olarak sayılabilir sonsuz süreç ya da sonlu bir süreç özeliğini sağlaması durumuna Markov zincirince sürekli zaman denir.

Şöyle ki; 𝑖 durumunda, Sürecin zaman içerisinde farklı bir duruma geçmesi pozisyonunda, 𝑣_𝑖 değerinde üstel bir değişkendir.

𝑖 durumundan çıkma pozisyonunda ve bu süreç içinde geçen zaman diliminden bağımsız oluşan sonraki durum 𝑂𝑖,𝑗 ihtimalle 𝑗’dir.

Bu sebepten ötürü, sürekli zaman Markov zincirinde 𝑂_𝑖,𝑗 durumu geçiş olasılıkları ile kesikli zaman Markov zincirini meydana getirirken geçiş durumları arasında oluşan zaman şu an ki dikkate aldığımız durum üstel dağılımı temsil etmektedir. Markov zincirinde 1,2,3,4, … … , 𝑁 değerleri için nitelendireceğimiz sayılabilir sayıda var olan değerlerin var olduğunu düşünelim (Ross, 1997).

Uzun vadede olan 𝑂(𝑖) Markov zincirinde "𝑖" durumda olan zamanlar dilimine aitliğini belirttiği zaman; kesikli Markov zinciri indirgenemez yapıya sahip olan durumlarda, uzun vadede oranlar olmaktadır. Ayrıca süreç içinde başlama noktasına sahip olan bağlanma durumunu taşımayacaktır. Durumlar içinde tüketilen zaman sürekli üstel dağılım durumda olduğundan dolayı periyodik kesikli bir yapıya sahip olan zaman zinciri üzerinde eşiti yoktur ve bundan dolayı ki uzun vadede oluşan oranlar tüm

34 süreçlerde eren olasılık yapısına sahiptir. Şöyle ki; 𝜆(𝑖, 𝑗) = 𝑣_𝑖𝑂_𝑖,𝑗

İfadesinde, 𝑣_𝑖, 𝑖 durumunda iken Markov zincirinde farklı bir duruma geçiş durumlarının sıklık bakımından değerlendirilmesinde, 𝑂𝑖,𝑗 intikali sırasında 𝑗 durumunda olma ihtimali, 𝜆(𝑖, 𝑗) Markov zinciri 𝑖 durumunda iken 𝑗 durumuna geçiş sıklığı olur. Sürekli zaman Markov zincirlerinde,

𝑂(𝑖)𝜆(𝑖, 𝑗) = 𝑂(𝑗)𝜆(𝑗, 𝑖) ∀ 𝑖, 𝑗

durumunda ise zamanda geri döndürülebilir. Bu sebepten ötürür, bütün 𝑖 ve 𝑗 durumlarıda; 𝑖 durumundan, 𝑗 durumuna sıklığı, 𝑗 durumundan 𝑖 durumuna geçiş sıklığında denk durumdaysa sürekli zaman Markov zinciri zamanda içerisinde geri döndürülebilirdir. Buna ilave olarak kesikli zaman Markov zincirinde olması durumunda yukarıda anlatımı yapılan zamanda geri döndürülebilirliği denklemlerini sağlayan 𝑂(𝑖), 𝑖 = 1,2,3,4,5 … … … … , 𝑁 ihtimalleri bulunabiliyorsa, Markov zinciri zamanda geri döndürülebilir olur ve 𝑂(𝑖) ifadesi bir olasılıktır.

Alıcıların 𝜆 sıklıklı bir Poisson sürecinde, her bir alıcı 1, 2, 3, 4, 5 … … … . . , 𝑟 olduğunu düşünürsek ve her birinin bir önceki alıcıdan özgür olarak 𝑖 durumunda olma ihtimali 𝑜_𝑖,

∑𝑟_𝑖=1𝑜_𝑖 = 1 durumuna sahip olduğunu varsayarsak, sisteme dahil olan tüm 𝑖 durumunda olan alıcıların, sistemden çıkma evresine kadar geçen zamana

𝜇_𝑖, 𝑖 = 1,2,3,4,5 … … . 𝑟 seçeneklerine sahip bir üstel bir rasgele değişkendir ve 𝑖 durumu alıcıların sisteme dahil olmasına izin vermesi yada vermemesi gibi hükmünün o anki sistemdeki alıcıların kümesine dahil olma durumunu düşünelim. Bu ifadeyi şöyle belirtecek olursak, 𝑖 = 1,2,3,4 … … , 𝑟 durumunda sistemde i çeşitinde 𝑛𝑖 alıcı varsa o sistemde 𝑛₁′_{den 𝑛}

𝑟

′_{ye kadardır ve sistem 𝐴 durumuna dahil olmaması alıcıların sisteme} dahil olamayacağı 𝐴 durmunun kümesi olduğu düşünülsün. Sisteme 𝑖 cinsinde bir alıcının gelmesi mevcut durum 𝑛 = (𝑛1, 𝑛2, … … … . . , 𝑛𝑟 ∈ 𝐴 esnasında, 1′in “𝑖” durumunda olması 𝑒_𝑖 = (0, … … ,0, 1, 0, … … .0) olmak üzere 𝑛 + 𝑒_𝑖 ∈ 𝐴 olması alıcıların sisteme dahil olmasında müsaade edilsin ve 𝑛 + 𝑒_𝑖 ∉ 𝐴 olması durumda ise alıcıların siteme dahil olmasına müsaade edilmesin ve 𝐴, 𝑛 + 𝑒𝑖 ∈ 𝐴′nın 𝑛 ∈ 𝐴 durumunda olmalıdır.

dahil olma durumu ise hastaların hastaneye gitmelerini ifade etsin. Hastanenin 𝑚 türünde hizmet vermesini ve “𝑖" yapısında hastaya 𝑟𝑖(𝑗) ≥ 0 durumun da ise "𝑗” hizmeti aldığını varsayalım ve “𝑗” hizmetinin saplanması durumunda ise mevcut olan kapasite 𝑐_𝑗 ≥ 0 olsun. Şayet;

∑𝑟_𝑖=1𝑛_𝑖𝑟_𝑖(𝑗) ≤ 𝑐_𝑗, 𝐽 = 1,2,3,4, … … . . , 𝑚 ve böylelikle

𝐴 = {𝑛: ∑𝑟𝑖=1𝑛_𝑖𝑟_𝑖(𝑗) ≤ 𝑐𝑗, 𝑗 = 1,2,3,4, … … . , 𝑚} şayet hastane aynı zaman diliminde 1′inci çeşit 𝑛₁ hastaya, 2’inci çeşit 𝑛₂ hastaya, 𝒏 ∈ 𝐴 ve "𝑟" yapısında 𝑛_𝑟 hastaya hizmet verilmesi sağlanabilir.

𝑛 ∈ 𝐴 durumun da sürekli zaman Markov zincirinde zaman geri döndürülebilir bir yapı olduğuna değinelim. Şimdi 𝑛_𝑖 > 0 olmak üzere, 𝑛 = (𝑛₁, 𝑛₂, 𝑛₃, … … . , 𝑛_𝑟) ∈ 𝐴 olması durumunu düşünelim. Burada önemini vurgulamamız gereken, sitem içerisinde 𝑖 yapısında 𝑛_𝑖 alıcı olduğundan 𝑛_𝑖𝜇_𝑗 sıklığında, 𝑛 durumunda 𝑖 yapısında sahip bir alıcı sistem içerisinden çıkması durumdan sonda sistemin süreci 𝑛 − 𝑒_𝑖 durumuna dönüşür. Bu nedenden ötürü, 𝑛 durumunda tüm zamanın oranı 𝑂(𝑛)’dir. Bu sistemdeki 𝑛 sürecinin 𝑛 − 𝑒_𝑖 durumunda dönüşme sıklığı = 𝑂(𝑛)𝑛_𝑖𝜇_𝑖 durumunda olur.

𝑛 − 𝑒𝑖 durumunda sürecin 𝑛 durumunda geçme sıklığı, 𝑖 yapısına sahip alıcıların geliş sıklıkları 𝜆𝑜_𝑖 olur. Sonuç olarak 𝜆_𝑖 = 𝜆𝑜_𝑖 olması amacıyla bu sefer sürecin 𝑛 − 𝑒_𝑖′den 𝑛 durumuna geçme sıklığı = 𝑂(𝑛 − 𝑒𝑖)𝜆𝑖’dir.

Bu nedenle zamanda geri döndürülebilirlik denklemleri,

𝑂(𝑛)𝑛𝑖𝜇𝑖 = 𝑂(𝑛 − 𝑒𝑖)𝜆𝑖 denklemi olur. 𝑂(𝑛) durumunda çözüm 𝑛𝑖 defasında tekrarlanması sonucu; 𝑂(𝑛) =𝜆𝑖𝜇𝑖 𝑛𝑖 𝑂(𝑛 − 𝑒𝑖) =𝜆𝑖⁄𝜇𝑖 𝑛𝑖 𝜆𝑖⁄𝜇𝑖 (𝑛𝑖−1) 𝑂(𝑛 − 𝑒𝑖 − 𝑒𝑖) = (𝜆𝑖⁄ )𝜇𝑖 2 𝑛𝑖(𝑛𝑖−1) 𝑂(𝑛 − 𝑒𝑖 − 𝑒𝑖) = ⋯ = ⋯ = ⋯

36 =(𝜆𝑖⁄ )𝜇𝑖 𝑛𝑖

𝑛𝑖! 𝑂(𝑛1, … … . , 𝑛𝑖−1, 0, 𝑛𝑖+1, … … . . , 𝑛𝑟)

denklemi elde edilebilir. 𝑛 vektörünün sahip olduğu başka koordinatlar için benzer işlemi yaptığımızda zamanda geri döndürülebilirlik denklemleri için,

𝑂(𝑛) = 𝑂(0) ∏ ((𝜆𝑖⁄𝜇𝑖))𝑛𝑖 𝑛𝑖! 𝑟

𝑖=1 sonucunun elde edildiği görülebilir.

𝑂(0) = 𝑂(0, … … . ,0)′ı belirleyecek olursak, yukarıda sunmuş olduğumuz anlatımda bütün hepsi 𝑛 ∈ 𝐴 vektörleri üstünde toplam değerini belirtecek olursak,

1 = 𝑂(0) ∑_𝑛∈𝐴 ∏ (𝜆𝑖⁄ )𝜇𝑖 𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 bulunur. 𝐶 = 1 ∑ ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 𝑛∈𝐴

olması durumunda zamanda geri döndürülebilirlik denklemleri

için; 𝑂(𝑛) = ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 ∑ ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 𝑛∈𝐴 = 𝐶 ∏ (𝜆𝑖⁄ )𝜇𝑖 𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 , 𝑛 ∈ 𝐴 olması gerekmektedir.

Yukarıda sunmuş olduğumuz 𝑂(𝑛) eşitlikleri zamanda geri döndürülebilir olduğu denklemlerinin sağlandığının belirtildiği, Markov zincirinin,

𝑂(𝑛) = ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 ∑ ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 𝑛∈𝐴 = 𝐶 ∏ (𝜆𝑖⁄ )𝑛𝑖𝜇𝑖 𝑛𝑖! 𝑟

𝑖=1 , 𝑛 ∈ 𝐴 denklemde gösterilen durağan olasılıklarına göre zamanda geri döndürülebilir olduğu sonucunu elde ederiz. Öte yanda şimdi sunacağımız üzere yüksek etkinlikte Monte Carlo metodunu kullabiliriz.

Şöyle ki; 𝑋_𝑖 ifadesinin ortalaması 𝜆_𝑖⁄ olması durumunda 𝑋𝜇_𝑖 1, 𝑋2, 𝑋3, … … . , 𝑋𝑟 ifadeleri

birbirlerinden bağımsız Poisson rasgele değişkenlerse 𝑂(𝑛) = ∏

(𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 ∑ ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 𝑛∈𝐴 = 𝐶 ∏ (𝜆𝑖⁄ )𝜇𝑖𝑛𝑖 𝑛𝑖! 𝑟

𝑖=1 , 𝑛 ∈ 𝐴 ifadesinde belirtilen durağan dağılım 𝑋 ∈ 𝐴 olması durumunda 𝑋 = (𝑋₁, 𝑋₂, 𝑋₃, … … . , 𝑋_𝑟) koşulunda olan bir dağılımdır.

𝐾 = 𝑒− ∑ 𝜆𝑖𝑖 ⁄𝜇𝑖 _{𝑂(𝑋 ∈ 𝐴)⁄ , 𝑛 ifadesine bağlı olmayan bir sabit değer olması koşuluyla,} 𝑛 = (𝑛₁, 𝑛₂, 𝑛₃, … … . . , 𝑛_𝑟) ∈ 𝐴 ifadesine göre,

𝑂(𝑋𝑖 = 𝑛𝑖, 𝑖 = 1,2,3,4, … … . . , 𝑟 |𝑋 ∈ 𝐴 = ∏𝑟𝑖=1𝑂(𝑋𝑖=𝑛𝑖) 𝑂(𝑋∈𝐴) = ∏𝑟𝑖=1𝑒−𝜆𝑖 𝜇𝑖⁄ (𝜆𝑖 𝜇𝑖 ⁄ )𝑛𝑖 𝑛𝑖! 𝑂(𝑋∈𝐴) = 𝐾 ∏ (𝜆𝑖⁄ )𝜇𝑖𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1

gibidir. Yukarıda sunulmuş olan denklik 𝑂(𝑛) =

∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 ∑ ∏ (𝜆𝑖 𝜇𝑖⁄ )𝑛𝑖 𝑛𝑖! 𝑟 𝑖=1 𝑛∈𝐴 = 𝐶 ∏ (𝜆𝑖⁄ )𝜇𝑖𝑛𝑖 𝑛𝑖! 𝑟

𝑖=1 , 𝑛 ∈ 𝐴 denkleminde belirtilen kütle işlevinin tümünde 𝑛 ∈ 𝐴 kümesinde verilen toplam değerler "1" olması durumundan, 𝐾 = 𝐶 sağlanmaktadır. Bundan dolayı sürekli Markov zincirinde durağan dağılım 𝑋 ∈ 𝐴 kümesinde 𝑋 değerinin koşullu dağılımını sağlamaktadır. Bu ifadeye göre; 𝑋𝑗 = 𝑛𝑗, 𝑗 ≠ 𝑖, 𝑋 ∈

𝐴 kümesinde 𝑋_𝑖 ifadesinin koşullu dağılımı ise,

(𝑛₁, 𝑛₂, 𝑛₃, … … … . , 𝑛_𝑖−1, 𝑋_𝑖, 𝑛_𝑖+1, … … … … , 𝑛_𝑟) ∈ 𝐴 olması durumunda koşullu duruma getirilmiş 𝜆𝑖⁄ ortalama bir değer taşıyan poisson rasgele değişkeni 𝜇𝑖 dağılımındadır. 𝑛 + 𝑒_𝑖 ∈ 𝐴, 𝑛 ∈ 𝐴 ifadesi için minimum yönde 𝑣 ≡ 𝑒𝑛𝑘 {𝑘: (𝑛1, 𝑛2, … … … . , 𝑛𝑖−1, 𝑘, 𝑛𝑖+1, … … , 𝑛𝑟) ∈ 𝐴} olması durumu koşullandırılmış 𝜆𝑖⁄ ortalama bir değerli Poisson rasgele değişkeninin dağılımını ifade edecektir. 𝜇𝑖 Bundan dolayı herhangi bir değişken, ters dönüşüm yöntemiyle oluşturulabileceğinden eren dağılımı kuyruk modellemesinin durağan dağılımını temsil eden Markov zinciri oluşturabilme safhasında Gibbs örneklemesinin kullanıldığını anlamış oluruz.