Web Madenciliği (Web Mining)

(1)

Web Madenciliği (Web Mining)

Hazırlayan: M. Ali Akcayol Gazi Üniversitesi

Bilgisayar Mühendisliği Bölümü

Bu dersin sunumları, “Web Data Mining: Exploring Hyperlinks, Contents, and Usage Data, Bing Liu, Springer, 2011.” kitabı kullanılarak hazırlanmıştır.

Konular

 Birliktelik Kuralları

 Birliktelik Kurallarının Temelleri

 Support ve Confidence

 Apriori Algoritması

 Frequent itemset oluşturulması

 Algoritma

 Birliktelik Kuralı Oluşturulması

 Algoritma

 Birliktelik Kural Madenciliği için Veri Formatları

 Çoklu Minimum Destek

 Sınıf Birliktelik Kural Madenciliği

 Algoritma

 Çoklu Minimum Destek ile Madencilik

(2)

3

 Birliktelik kuralları büyük veri analizlerinde önemli bir yere sahiptir.

 Birliktelik kural madenciliği veri madenciliğinin temel çalışma alanlarından birisidir.

 Birliktelik kuralları, üzerinde en çok çalışma yapılan ve yaygın uygulanan modeldir.

 Birliktelik kuralları modelinin amacı, veri parçalarının birlikte gerçekleşme (co-occurence) ilişkilerinin tümünü ortaya çıkarmaktır.

 Agrawal ve arkadaşları* tarafından 1993 yılında önerilmesinden sonra bir çok alanda başarılı bir şekilde uygulanmıştır.

* R. Agrawal, T. Imielinski, and A. N. Swami. Mining Association Rules between Sets of Items in Large Databases. In Proc. of the ACM SIGMOD Intl. Conf. on Management of Data (SIGMOD’93), pp. 207–216, 1993.

Birliktelik Kuralları

 Birliktelik kural madenciliğindeki klasik uygulama alanı market sepeti veri analizidir.

 Market sepeti analizinde, müşterilerin aldıkları ürünler arasındaki ilişkiler ortaya çıkartılır.

Peynir  Ekmek [support = 10%, confidence = 75%]

 Yukarıdaki kuralda, tüm müşterilerin %10’u peynir ve ekmeği birlikte almıştır (support).

 Yukarıdaki kuralda, peynir alan müşterilerin %75’i ekmeği de almıştır (confidence).

Birliktelik Kuralları

(3)

5

 Birliktelik kural madenciliği ürünlerin sırasını dikkate almaz.

 Sıralı örüntü madenciliği ise ürünlerin sırasıyla ilgilenir.

 Sıralı örüntü madenciliğinde “müşterilerin %5’i önce ekmek sonra peynir daha sonra zeytin almaktadır” şeklinde kural elde edilir.

 Bu tür kurallar Web kullanım madenciliğinde clickstream analizinde veya dilsel örüntülerin bulunması amacıyla kullanılır.

Birliktelik Kuralları

Konular

 Algoritma

(4)

7

 Birliktelik kural madenciliği aşağıdaki gibi ifade edilir:

 Burada, I parçalar (items) kümesi, T işlemler (transactions) kümesidir.

 Her bir işlem bir grup parçadan oluşan kümedir ve

şeklinde ifade edilir.

 Birliktelik kuralı ise aşağıdaki gibi gösterilir:

 Burada X ve Y parça kümesi (itemset) olarak ifade edilir.

Birliktelik Kurallarının Temelleri

Örnek

 Bir müşteri I kümesindeki ürünlere sahip bir marketten üç tane ürün alıyor. Bu işlem aşağıdaki gibidir.

 Bir birliktelik kuralı aşağıdaki gibi olabilir.

 Burada,

şeklinde ifade edilir.

Birliktelik Kurallarının Temelleri

(5)

9

Konular

 Algoritma

Support

 t_iT transaction’ı, X itemset’ini kapsar (eğer X itemset’i t_i transaction’ının alt kümesi ise (X  t_i)).

 X itemset’inin destek sayısı (support count), T içerisinde X’i kapsayan transaction sayısıdır ve X.count şeklinde gösterilir.

 X  Y kuralının support değeri, T tüm transaction’lar kümesinde X  Y itemset’ini içeren transaction’ların oranıdır.

 Bir kuralın support değeri, olma olasılığını gösterir ve Pr(X  Y) şeklinde ifade edilir.

 X  Y kuralının support değeri aşağıdaki eşitlikle hesaplanır.

Burada, n toplam transaction sayısını gösterir.

Support ve Confidence

(6)

11

Confidence

 X  Y kuralının confidence değeri, T tüm transaction’lar

kümesinde X ile Y itemset’lerini birlikte içeren transaction’ların, X’ i bulunduran transactionlar içerisindeki oranıdır.

 Bir kuralın confidence değeri, şartlı olasılık ile ifade edilir ve Pr(Y | X) şeklinde gösterilir.

 X  Y kuralının confidence değeri aşağıdaki eşitlikle hesaplanır.

Burada, n toplam transaction sayısını gösterir.

 Confidence bir kuralın öngörülebilirliğini (predictability) belirler.

Support ve Confidence

 Birliktelik kural madenciliği, verilen bir T transaction’lar kümesinde, önceden belirlenmiş support ve confidence değerlerine eşit veya büyük olan birliktelik kurallarının elde edilmesini amaçlar.

 Kullanıcı tarafından belirlenmiş olan support ve confidence

değerlerine minimum support (minsup) ve minimum confidence (minconf) denilmektedir.

Support ve Confidence

(7)

13

Örnek

 Aşağıda 7 transaction’a sahip olan T kümesi verilmiştir.

 I kümesi markette satılan tüm parçaları içermektedir.

 minsup = 30% ve minconf = 80% için kurallar bulalım.

 Transaction’lar için aşağıdaki kurallar support = 42,86% (>30%) ve confidence = 100% (>80%) değerine sahiptir ve geçerlidir.

Support ve Confidence

Konular

 Algoritma

(8)

15

 Apriori algoritması iki aşamadan oluşmaktadır:

 Tüm frequent itemset’lerin oluşturulması.

Frequent itemset, minsup değerine sahip item’lar kümesidir.

 Frequent itemset’lerden güvenilir birliktelik kurallarının oluşturulması.

Güvenilir birliktelik kuralı, minconf değerine sahip kuraldır.

 Bir itemset içindeki eleman sayısı k ise bu itemset k-itemset olarak adlandırılır.

 Aşağıdaki itemset minsup değerini sağlıyorsa, frequent 3- itemset’tir.

Apriori Algoritması

 minsup = 30% ve minconf = 80% değerlerini alalım.

 Yukarıdaki frequent 3-itemset için minsup ve minconf değerlerini sağlayan aşağıdaki birliktelik kuralları yazılabilir.

Apriori Algoritması

(9)

17

Konular

 Algoritma

 Downward closure property

Eğer bir itemset minsup değerine sahipse, bu itemset’in boş küme hariç tüm altkümeleri de minsup değerine sahiptir.

 Apriori property

Bir transaction, X ’deki item’lara sahipse, X’in boş küme hariç tüm alt kümelerine de sahip olmak zorundadır.

 Pruning

Apriori algoritması minsup değerine sahip olmayan birliktelik kural adaylarını temizler.

Frequent itemset oluşturulması

(10)

19

 Algoritma I itemset içerisindeki elemanların tümüyle sıralı (lexicographic order) olduğunu varsayar.

 Bir k-itemset aşağıdaki gibi gösterilir ve w[1], w[2], …, w[k] birer item’dır.

 Apriori algoritması tüm frequent itemset’lerin verileri üzerinden birden fazla geçerek işlem yapar.

 Apriori algoritması level-wise search yapar ve her geçişte her bir item için support değerlerini ve frequent olup olmadıklarını belirler.

 Önce her bir item için frequent 1-itemset’i oluşturur ve her iterasyonda 2-itemset, 3-itemset şeklinde artarak devam eder.

Frequent itemset oluşturulması

Konular

 Algoritma

(11)

21

Algoritma

Her item için support değeri hesaplanır. Candidate 1-itemset oluşturulur.

1-itemset

Candidate k-itemset oluşturulur.

Candidate k-itemset elemanlarının T içerisindeki sayısı (support) bulunur.

Frequent k-itemset oluşturulur.

Algoritma

Joining aşaması

Pruning aşaması Son elemanları farklı

(12)

23

Örnek

 Aşağıda 3. seviyede oluşturulan frequent 3-itemset verilmiştir.

 Join aşamasında {1, 2, 3, 4} ve {1, 3, 4, 5} oluşturulur.

 {1, 2, 3, 4} birinci ve ikinci itemset’leri ile oluşturulur.

 {1, 3, 4, 5} ise {1, 3, 4} ile {1, 3, 5} itemset’leri ile oluşturulur.

 Pruning aşamasından sonra sadece {1, 2, 3, 4} kalır.

 {1, 4, 5} kümesi ve {3, 4, 5} kümesi, frequent 3-itemset içerisinde olmadığından {1, 3, 4, 5} silinir.

Algoritma

Örnek minsup=2

Algoritma

(13)

25

Örnek

 Aşağıda 7 transaction’a sahip bir T kümesi verilmiştir.

 minsup = 30% (en az 3/7) olarak alarak tüm frequent itemset’leri bulalım.

Algoritma

Örnek – devam

 Her item sonunda support değerleri verilmiştir. Support değerinin en az 3 olması gereklidir (3/7 > 30%).

Algoritma

{Beef, Cheese, Chicken} oluşturulur.

Ancak, {Cheese, Chicken} F₂içinde

olmadığından, {Beef, Cheese, Chicken} silinir

(14)

27

Algoritmanın değerlendirilmesi

 Exponential bir algoritmadır. I kümesindeki eleman sayısı m ise O(2^m)karmaşıklığına sahiptir.

 Market sepeti örneğinde olduğu gibi, market çok sayıda ürünü satar ancak müşteri bir kısmını alır (sparseness). Algoritma transaction kümesindeki veri seyrekliğine göre daha etkin çalışır.

 Algoritma tüm veriyi hafızaya yüklemeden çalışır ve verileri teker teker tarayıp işlem yapar (satır 5-10 arasında). Ölçeklenebilirliği yüksektir ve çok büyük boyutlardaki veriler üzerinde çalışabilir.

 Level-wise search yaptığından istenilen seviyede sonlandırılabilir.

 Birliktelik kurallarında çok sayıda (binlerce) kural oluşturulabilir ve faydalı olanların bulunması çok zordur (Interestingness problem).

Algoritma

Konular

 Algoritma

(15)

29

 Bazı uygulamalarda frequent itemset’leri kullanarak tüm birliktelik kurallarının oluşturulması gereklidir.

 Bir f frequent itemset için kural oluştururken f kümesinin tüm altkümeleri kullanılır.

 Confidence değerine bağlı olarak bir frequent itemset için kural aşağıdaki gibi elde edilebilir:

 Burada f.count ile (f-).count tüm transaction kümesi T ’deki sayılarını gösterir.

 f frequent item için support değeri ise f.count / n ile gösterilir.

Birliktelik Kuralı Oluşturulması

 Eğer f frequent itemset ise, Apriori algoritması boş küme hariç tüm altkümelerinin de frequent itemset olmasını gerektirir.

 Eğer (f-)  kuralı geçerliyse, (f-_sub) _sub kuralları da geçerlidir.

 Eğer {A, B, C, D} itemset için (A, B  C, D) kuralı varsa,

(A, B, C  D) ve (A, B, D  C) kuralları da kesinlikle geçerlidir.

{A, B, C}.count ≤ {A, B}.count, {A, B, D}.count ≤ {A, B}.count (A, B, C  D).conf ≥ (A, B  C, D).conf

 Eğer {A, B, C, D} itemset için (A, B, C  D) kuralı varsa, (A, B  C, D) ve (A, C  B , D) kuralları geçerli olmayabilir.

{A, B}.count ≥ {A, B, C}.count, {A, C}.count ≥ {A, B, C}.count (A, B, C  D).conf ≤ (A, B  C, D).conf

Birliktelik Kuralı Oluşturulması

(16)

31

Konular

 Algoritma

 Öncelikle 1 elemana sahip ardıl kısımlardan oluşan kurallar elde edilir.

Algoritma

1 elemanlı ardıl kısımlara sahip kurallar oluşturulur.

Son elemanlardan oluşan küme

(17)

33

Algoritma

{Chicken, Clothes, Milk}.count/Clothes.count

Örnek

 Aşağıdaki T kümesi için minsup = %30 (3/7) ve minconf = %80 (4/5) olsun.

 Aşağıdaki frequent itemset’ler elde edilir.

Algoritma

(18)

35

 F₃için kurallar aşağıdaki gibi elde edilebilir.

 minconf = %80 gerektiğinden dolayı genRules() algoritmasının 2.satırında 1. ve 3. frequent itemset’ler alınır.

 Böylelikle H₁= {{Chicken}, {Milk}} olarak elde edilir.

 F₃ve H₁için ap-GenRules() algoritması çağrılır. Bu algoritmanın 2.satırındaki candidate-gen() fonksiyonuyla H₂= {{Chicken, Milk}}

elde edilir.

Algoritma

 ap-GenRules() algoritmasının 2.satırında H₂= {{Chicken, Milk}} elde edildikten sonra aşağıdaki 4.kural oluşturulur:

 F₃= {Chicken, Clothes, Milk} frequent itemset’i kullanılarak aşağıdaki 4 kural elde edilmiş olur.

Algoritma

(19)

37

Konular

 Algoritma

 Birliktelik kural madenciliği ilişkisel veritabanlarında da uygulanabilir.

 VTYS içerisindeki tablonun bir transaction veri kümesine

dönüştürülmesi gereklidir. Bunun için özellik-değer (attribute-value) ikilisinin elde edilmesi yeterlidir.

 Aşağıdaki tablodan transaction kümesi elde edilmiştir.

Birliktelik Kural Madenciliği için Veri Formatları

(20)

39

 Eğer VTYS içerisindeki tablo kategorik veri yerine sayısal veri

içeriyorsa değer aralığı belirli parçaya bölünerek dönüştürme işlemi yapılabilir.

 Örneğin 1-100 arasındaki sayısal değerlere sahip bir alan için 1-20, 21-40, 41-60, 61-80, 81-100 aralıkları alınarak kategorik değer ataması yapılabilir.

a = 1 - 20 b = 21 - 40 c = 41 - 60 d = 61 - 80 e = 81 - 100

Birliktelik Kural Madenciliği için Veri Formatları

Konular

 Algoritma

(21)

41

 Birliktelik kural madenciliğinde tek minsup değeri kullanılması bazı uygulamalarda uygun olmayabilir.

 Tüm veriler aynı öneme, sıklığa veya yapıya sahip olmayabilir.

 Bazı veriler sık olmasa da daha büyük öneme sahip olabilir.

 Bu durumda bazı sorunlar ortaya çıkar:

 minsup değeri yüksek olursa bazı önemli kurallar sık olmadığı için elde edilemez.

 minsup değeri düşük olursa çok sayıda kural elde edilir ve birliktelik kural madenciliği oldukça zorlaşır.

 E-ticaret sitelerinde bazı ürünler pahalıdır ve az sıklıkta satılır.

Ancak bu ürünlere yönelik kurallarda önemlidir.

Çoklu Minimum Destek

Örnek

 Bir süpermarkette az sayıda satılan FoodProcessor ve CookingPan ürünleri için kural bulmak istiyoruz.

 Az sıklıkta olduğundan minsup değerinin çok küçük olması gerekiyor.

 minsup = %0,006 için aşağıdaki gibi bir frequent itemset bulunabilir:

 Düşük minsup değerinden dolayı aşağıdaki anlamsız frequent itemset’lerde elde edilebilir:

 Her iki frequent itemset gereksizdir. Çünkü hemen hemen her

Çoklu Minimum Destek

(22)

43

 Bu sorun veriyi bloklar halinde parçalayarak her parça için ayrı ayrı madencilik yapılarak çözülebilir. Ancak, ayrı bloklardaki aynı itemler için kurallar elde edilemez.

 Bu sorun için en iyi çözüm her item için farklı minimum support değeri (minimum item support (MIS)) belirlenmesidir.

 Bu sayede farklı sıklıkta ve farklı öneme sahip item’lar için ayrı support değerleri kullanılarak anlamlı kurallar elde edilebilir.

 MIS (i), i.item için minimum support değeri olsun. Bir R kuralı için minimum support değeri aşağıdaki ifade edilir:

Çoklu Minimum Destek

Örnek

 Bir itemset {Bread, Shoes, Clothes} için kullanıcı tanımlı MIS değerleri aşağıdaki gibi olsun:

 Aşağıdaki kural minimum support değerini karşılamaz. Çünkü,

min(MIS(Bread), MIS(Clothes)) = %0,2’dir (Support değerinin 0,2’den büyük olması gerekir.).

 Aşağıdaki kural minimum support değerini karşılar. Çünkü, min(MIS(Shoes), MIS(Clothes)) = %0,1’dir.

Çoklu Minimum Destek

(23)

45

Örnek

 {1, 2, 3, 4} itemset için MIS değerleri aşağıdaki olsun:

 Eğer 2.seviyede {1, 2} itemset için support %9 bulunursa, MIS(1) ve MIS(2) değerlerini sağlamaz. Bu durumda, Apriori algoritması {1, 2}

itemset’i atar.

 Böylelikle, {1, 2, 3} ve {1, 2, 4} itemset’leri de üst seviyede oluşturulamaz. Bu itemset’ler MIS(3) = %5 ve MIS(4) = %6 değerlerini sağlamaktadır.

 Ancak, {1, 2} itemset’i silinmezse downward closure özelliği kaybolur.

Çoklu Minimum Destek

 Bir itemset içerisinde çok sık ve çok az sayıda item’ların yer almasını önlemek için farklı yöntemler kullanılmaktadır.

 Örneğin, maksimum ve minimum support değerlerinin uzaklığını (farkını) belirlemek için sabit fark kısıtı konulabilir.

 Aşağıdaki ifadede sup(i), i.item için support değerini göstermektedir.

 Bu kısıt ile birlikte çok sayıda frequent itemset oluşturulması da engellenmiş olur.

Çoklu Minimum Destek

(24)

47

Konular

 Algoritma

 Bazı uygulamalarda kurallar için kullanıcı hedef değer belirleyebilir.

 Örneğin bir grup doküman için hangi konuya yönelik olduğunu içeren bilgiye ulaşılmak istenebilir.

 T kümesi n tane transaction’dan oluşursa, her transaction bir y sınıfı ile eşleştirilebilir.

 I tüm item’lar kümesi ve Y ise tüm sınıflar kümesi ise I  Y =  dir.

 Bir sınıf birliktelik kuralı (class association rule - CAR) aşağıdaki gibi tanımlanır:

X  y, burada X  I, ve y  Y dir.

 Support ve confidence değerleri normal birliktelik kurallarındaki gibi hesaplanır.

Sınıf Birliktelik Kural Madenciliği

(25)

49

 CAR’larda hedef eleman bir tanedir ve bir sınıfı gösterir.

 Normal birliktelik kurallarında hedef bir item kümesidir ve birden fazla eleman olabilmektedir.

 CAR madenciliğindeki amaç, kullanıcı tanımlı minsup ve minconf değerlerine sahip tüm kuralların bulunmasıdır.

Sınıf Birliktelik Kural Madenciliği

Örnek

 Aşağıda 8 doküman ile 2 sınıf arasındaki eşleştirme görülmektedir.

 minsup = %20 ve minconf = %60 için iki kural aşağıdaki yazılabilir.

Sınıf Birliktelik Kural Madenciliği

(26)

51

Konular

 Algoritma

 CAR doğrudan tek adımla elde edilebilmektedir. Temel işlem minsup değerini sağlayan ruleitem’larını bulmaktadır.

 Bir ruleitem (condset, y)

şeklinde tanımlanır. Burada condset  I, ve y  Y dir.

 condset için support değeri (condsupCount), T içerisinde condset’i bulunduran transaction sayısıdır.

 ruleitem için support değeri (rulesupCount), T içerisinde condset’i ve y sınıfını birlikte bulunduran transaction sayısıdır.

 Her ruleitem aşağıdaki gibi bir kuralı gösterir:

Algoritma

(27)

53

 condset  y şeklindeki bir kural için support ve confidence değeri (condset  y).support = (rulesupCount / n)

(condset  y).confidence = (rulesupCount / condsupCount) şeklinde ifade edilir.

 minsup değerini sağlayan ruleitem’lar frequent ruleitem’dır.

Algoritma

 ({Student, School}, Education) ruleitem için:

condsupCount ({Student, School}) = 2

rulesupCount ({Student, School}, Education) = 2

({Student, School}, Education).support = 2/7 (%28,6) ({Student, School}, Education).confidence = 2/2 (%100)

Algoritma

(28)

55

Algoritma

|condSet| = 1

Aday frequent 1-ruleitem

|condSet| = 1 olan CAR kümesi Yeni aday küme C_koluşturuldu.

Aynı sınıfa ait olan condset’ler kullanılır.

condSet sayıldı

ruleitem sayıldı

Frequent item yapıldı.

CARkkümesine eklendi.

Tüm CAR kümesi elde edildi.

Örnek

 Aşağıdaki veri için minsup = %15 (>=2/7) ve minconf = %70 alınıyor.

 İlk sayı condSupCount ikinci sayı ruleSupCount değerini gösterir.

Algoritma

(29)

57

Algoritma

(30)

59

 Birliktelik kurallarının kullanım alanları hakkında detaylı bir araştırma ödevi hazırlayınız.

Web Madenciliği (Web Mining)