ENDÜKTİF ÖGRENME ALGORİTMALARININ KURAL ÜRETME YONTEMLERI VE PERFORMANSLARININ KARŞILAŞTIRILMASI

(1)

kgobcls{i:_. Jıarran_

), oztç_nıcl((_ :sakarya.:_edu.u.

SAC'

Fen Bilinıleri Enstitüsü Dergisi IO.Cilt. l.Sa,. _·ı

2006

Endüktift)e:rennıe Algoritnıalarının Kural ...__

Ü

r

ctnıc

Yöntenıleri ve

Pcrfonnanslarının Karşılaşıırı !ın ası.

Ö. A kgöbek

ENDÜKTİF ÖGRENME ALGORİTMALARININ KURAL ÜRETME

•• •

YONTEMLERI VE PERFORMANSLARININ KARŞILAŞTIRILMASI

Ömer AKGÖBEK1, Ercan ÖZTEMEL2

1 Harran Üniv., Müh. Fak., Endüstri Müh. Bölünıü, Şanlıurfa, Tel:414

3128456,_o

_.. ..e.�i_Lj_J.r ..

-sakarya Univ., Müh. Fak., End. Müh. Bölünıü, Adapazarı.Tel:264

3460353(281

••

OZET

.. Bilgi Çağı'' ve '"Bilgi Toplunıu'' gibi terinılerin sıklıkla kullanıldığı gününıüzde, bilginin önenıi daha açık bir şekilde ortaya çıknıaktadır. Bilginin önenıi arttığı oranda o bilgiye ulaşabilıneyi sağlayan sistenılerin de önenıi artnıaktadır. Bilgisayar teknolojisindeki büyük gelişnıeler sayesinde, dünyanın herhangi bir yerinde üretilen bilginin sayısal hale getirilerek saklannıası ve o bilgiye dünyanın herhangi bir yerinden çok kısa sürede erişinı nıünıkün olnıaktadır. Bununla birlikte prograınlaına dillerindeki büyük gelişıneler sayesinde bilgiyi işlenıek ve istenen bilgiye erişınek de kolaylaşnıaktadır. Bu çalışnıada. bilgiyi elde etnıek anıacıyla kullanılan Endüktif Öğrenıne teknikleri anlattlacak ve bu a

1

and a ge

1

iştiril e n a1gor i t nı a

1

ar ka rşılaştırı

I

a c akt ır.

Anahta r Keliıneler- Endüktif öğrennıe ](arar ağacı, Kural üretıne, Bilgi kazanıını

RULE GENERATION METHODS OF INDUCTIVE LEARNING

AL(;ORITHMS AND COMPARISOIN OF THEIR PERFORMANCES

1BSTRACT

•

Frequent eınphasis on the phrases such as "Inforınation Age" and ''Jnfornıation Society'' clearly expresses the

İnıportance of knowledge in our daily life. As the İnıportance of knowledge increases, so does the need for tools to reaclı and retrieve the knowledge. Thanks to great developınents in the conıputer technology, it is possible to store the

infornıation generated nıiles away in an electronic fornıat and retrieve it back quickly at any location in the world, when ııeedcd. ın addition, rapid developnıents in progranınıing languages also nıade it easy to process the information and acccs it in case of need. ln this study inductive learning techniques which are used to acquire infornıation will be cxplained and the algorithms developed for such purposes \Vill be conıpared with eacb other.

Key\vo rds - _{Inductive le arn ing, Decision tre e, Rule i nduction, I( now ledge acquisition}

• •

I. GIRIŞ

8i

1

gi s ayar tekno

I

ojisini n büyük b ir hızla gel işınesi i le beraber yapay zeka alanında çok büyük ve hızlı gelişnıelcr yaşan n ıaktad ı r. Bu gelişnıelerle beraber yapay zekanın bir alt dalı olan uznıan sistenılerde de büyük iler le nıe ler kay d ed i lınekted ir.

Biloi _{b .,} oenel_b kaynak

l

ardan, o larak . arşıv bir uzmandan, bilgilerinden, konu i le gözlenı ilnili_b veya ı

deney

1

er d en e 1 d e e d i1e b i 1ir. B ir uz nı an da n b i

1

gi e

1

d e et nıe,

karş ılı k lı görüşıneler gerektiren uzun zanıan alan dikkat isteyen ve sisteınatik çalışnıalar gerektiren bir işlenıdir.

U

z ınan

ı

ar, uz111an lı k bi lg i

ı

er i n i gün lük çal ı ş111a

1

arı n da

rahatlıkla kul lanabi tınelerine rağınen, bunları özetlenıe ve

'-bir uznıan sistemde kullanılabilir hale getirnıede aynı

başarı yı göster e ın ey e b i li

rl

er.

B

u bilg i ler i n d eğer

1

en

dirilnıesi ve bir uznıan sistenı için bilgi tabanı haline

(2)

dene\. _.J

' ..

SAl

· Fen

Bilinıleri

EnstiUisli Dcr ısi

1 0.( ·iıı. l.Sa\ _ı _'OOh

yolla oluşturulnıası heın uzun zaıııaıı alnıakla

i

l cııı de

y

li k s e k nı a 1 iyet ger e ktirı nekted ir.

Ç U

n k

Li

bu i ıenı ler i

yerine getirecek uznıan kişilere ihtiyaç duyulnıakta, bu eleınanları buln1ak zorlaşnıakta ve istihdaını cta yük ek nıaJi

yet gerektirı

n ekte dir.

Bi

1

g i nin e J de e d i Inıe sin e · 'bi 1 gi ka z a n ını ı " dcni r .

Araştırnıacılar bilgi kazanınıını. bir uznıaıı sistcnıiıı_{._}

ge

ı

işti ri

ı

nıesinde en büyü k darboğaz oı <ıra k ka

h

u ı

etnıekted i r

ı

e r. Fe i genbau nı f

1

] b u lıus

u

su

l) ) ıc di ı e

gerirnıektedir: .. Bilginin gösteriıııi. kullanıınıa ı e

kazanıııııası ile ilgili çözülıııesi gereken <;nk öı

ı

enıli

problenıler vardır. Bunlardan bilgi kazanınıı problcıııi eıı önenıı i kritik darboğazı o

ı

uş tu rnıaktadır''.

Bütün bu ve benzeri zorluklar araştırnıl1cıları bu darb oğaz ı aşnı a k iç i n a

ı

ternatif tc k ni k 1 cr gc

1

i lı rı n

ey

e sevk etıniştir. Bu konuda birçok teknik gcliştırilıni ve

gcliştirilnıeye devanı edilnıektcdir. (}eliştirilen bu

tekniklerin anıacı bilgi kazanınıını otoıııatik lıalc '-Qetirınektir. Bunlardan bir tanesi de 'Endüktif ÖQrcnnıc · _L (lnductive Learning) tekniğidir.

Endüktif öğren ın e alanında birçok algoritına ge

1

i

ş

t i r i 1nıi ş tir. B _u algorit nı a

1

arın k ura 1 ür et nı_c

y

önt_enıl er i arasında fark I ılık lar oı ın asına rağnıen, sonuçta örnek set ını e n iy i şeki l d e te nı s iı ede n ku ra ll arı n

ü

r ct i Inıesin i

saQiarlar._L

Bu çalışnıanın ikinci bölünıündc cndüktif öğrenıne

tekniğinin ana hatları üzerinde durulnıuş.

üçüncü

bö

1 U

nı ünde endükt if öğrennıe a

1

gorit ıııa lar ı ve bu algoritnıalarııı kural üretnıe nıetotları açıklaıınıış ve dörd

üncü

bö 1ünıde i se bu a lgorit nıa ların perfornıans ları karşılaştı r ıl nı ıştır.

Endüktif

... .

.

-2. ENDUKTIF Q(;J ENME

öürennıe· _::;. ı _bnözlenı.

veritabanından elde edilen örnek setinden

e va bir genel bilgi

'-

'-çıkarnıa tekniği ve otonıatik bilgi kazanıını için pratik

yaklaşınılardan birisi olarak kabul edilir [2].

Son yıllarda araştırnıacılar endüktif öğrenebilirliğin teorisi üzerinde çalışnıışlar ve tenıel teorik analizler

üzerinde endüktif öğrennıenin ınüınkün olabilirliğini ka n ıt1 anı ay ı başa rı n ı ş 1 ardı r.

İ

1k o larak Va p n i k ve

C h

crvonen k is [

3 J

öğren

c

b i 1 nıen

i

n b ir ö l

ç li

s ü o 1 ara k VC

boyutu'nu sunnıuşlardır. {)aha sonra öğrenebilıne alanında birçok teorik çalışına yapılınıştır [4, 5].

Endüktif öğrenın

e

de "'öğreıınıe" kavranıı i

1

e e

ğ

itıne

örneklerinden bir kavranıı en iyi açıklayan bilgilerin elde edilnıesi kastedilnıektedir. Burada örneklerden karar kuralları denilen kurallar o1uş turu lur. Örnek ler d en gene1 ifadelere (kurallara) ulaştidığından endüktif öğrennıcye

"tli nı c var ını ö ğ rennıe·' de den i lnıektedir [

6

].

2

1 _ı_{ı d}_{ı· ,}k _tı_ı ₍ ₎ _ı_{�..· ı}_ı_{ı ı}_h.' \ ı _{l ıı ı l ı}_ı_ı_._ı

Lı

r

ı

n ı

_ıı

k

_ı

ır

ıl

l _rı

ın

_c _'ı _ı_'_{ııiL·ııı k :}_, _,

' '

1 \:

r

ı

)

rn

ı..ıı bı

ı r

ın

ı

ı 1\. .. ı r ::ı ı ı

ı

ı ı rı ı

nı

:ı -..

ı .

( > \ k l • b�..· k

1-.rıdiiktir

ö Tcıııııc

_{.._} al uritıııal ırıııııı tasarııııındaki en

-hii)'Cık

prn bleııı , dü7cnsi:� örneklerden a ırı clcrcccdc

karınl.l ık tanıınlaııı<ıları liretıııcktcıı sakınnıanııı ılt.t ıl olacaQıdır. Bozuk, eksik. lıeı cn ii' verilerden öğrcıınıc.·

\O k say

ı

u

a verinıs

i1

örnek

Ic

r taııııı11 anı lı ve karnı cı ı k karar kurallarının çok 1yıdd ulıııasıııa sebep olabilir.

Bu

durunıda üretilen kcıvranı t:ınııııı cncllikle ck ik

o

I

nıak ta d ır 16] .

Genel olarak endüktif

taıııııılanabilir 17. RI: Verilen ler:

....

aşcığıdak i _....u

i

b

i

• Bazı dene\ _.,. \'e\ _.. tl duruıııl<ır lıt.lkkıııdt-ı hil i\ i österen

"- - ..._

bir örnek set i

(.1 )

.

o Geçici k e _sin o 1n

ı a

lııı c n d

u

k t i

r

id d i₍₁

(

h

o

1

abi

1

ir) .

• Gcçnıiş bilgi

K.

Buluııanlar:

• Ornekleri il'adc cdcıı vc gcçıııi

K bilgisini

tcnısil

eden bir

h

hip ot e

L.İ.

Bunu ıı g ö st cri nı i

h

1\

A.

=-> .

-

i

şeklindedir. 13u ifade ,

h

lıipotczi ve geçıni

1\

bil isinin. _'--'

A

örnek setini

if H.lc

etti[!:ini gösterir._.... _.... Burada 1\ ınantıksal çıktıyı gösterir.

;rnın yapısına bağlı nh1rak endliktif öğrenı nenin iki

ıııCınıkün

durunıu v ırdır. Bunlar: danışnıanlı ve

danı ş nıans ı z.

A

' da k i

ö

r n ck

1

cr ön

c

edc n sın

dl

andırıl nı ı

ş

sa bu öğrennıeye daııışn1anlı. diğer dunınıda danışınansız cılarak adlandırılır.

Bir

.4

örnek setinde e ;,ıclct ()rnek ve s adet

(d1,d_),

. ..

,dj

farklı ınıf olsun ve

e(tli).

d,

sıııılına ait bir örneği göstersin.

A

'dan bilgi veya kavrunı öğreıın

ı

e:

o 1arak gö st c ri1 i r. Burada

1)

es

(d,).

cl,

sın ı fı kav ra nı ın

tanınııdır. Herhangi bir cndüktif öğrennıe prosedürü tarafından talınıin edilebilen iki şart vardır. Bunlar. eksizlik ve tutarlılık şartıdır. Eksiksizlik:

Bu şart ile bütün örneklerde,

d,

sınıfı

Des(d)

kavranıı tarafı n da ıı kapsa nnıa1ıdır.

'r

u tar 1 ılık :

Bu şart end

Li

ktif

ö

ğ re nnıcd c çok önenılidir.

D

e s

(dj

kavraını_

c/,

sınıfına aıt olnıayan herhan2.i bir örııeQi kap sa nı anı Jlıdır.

(3)

""--S(

_f

lrt

ı

1

.... • 1... .. , ll... .. -·- ·r- ... _ ; ; ; i • . '· . . -. . . : -... !'\... - - --- _..._,.,_ __ - .... ·-· --' :

L.

LJ • ..1 • ·-! ! ; • _' ' ' _• ·- ' : • • \ -- -...,._. ... .. .... _ 1 ···_r

ı

' _,• .•. • • • • • : 1 ... -· 1 • ...

.

.. . . ' 1 • ı .n r'· , '. J.. .. . . ....: : 1

c.:

i ! , ( ' ,, ,..,.t

'

•

• • f. .. --·---- ·-.. --

-r--

· _ ... __ ... ----..

1

.

... , ....

11

_. 1 • 1 ' ' ı -... ı ı ı

o

1 (

)

gö'tcrir.

\l 1

cıı

Hıliınkrı

f·ıhtıtiı-..ii

ı

kı _·ı-..ı ₁ı _ıl ill. 1 \,ı\ ı _{_1(Hl(ı}

l:ndliktif öğrcnıııc

:ı

bır

· · ,·ııınc i k·

ı

ıı ı

ı

ı t

k

· hiıla

nı

ü

nıkü

n

çı

kt

ı

c 1

d

e

L'

'·lı

· .. ı i ; •

!

. ı ,. 'd

ı'

1

h

u

t

t·ı

n

nı

ii

ı

ıı

k Li

ıı

Çiktıiarı

_{iÇCI"eJ1 bir hip\ t\.· ;} Ut · · : ı'll11

J

Jldtikll r t) ırL'IııllL'.

h

ir

h

lıipotczini

bulıııak

i

·ıı 1

i/

lı

:ı-ı,

ık·;

ıı;ıt ııhl,ı bır

;,ıraıııa

prnseetürü olarak

açıkl(tll lhııir.

\r<ıın;,ı i kınıııı

:dparkcıı

ck

si

ks

i

1 1

ik vc

t

u

t

ar

lı lı

k ı

rt ı._ı rını

-

t ) 1 <)

nüı

H

k·

l u ı ;

ır

d

k

ıy

n

ı

za

ı

_nanda

K

_geç

₁₁₁_{i bi}₁

_g

_i_s_i

_ni

u

_c

_lalını

_i

_{n cd}

_{cr 19}

_.

1

_O

ı.

Fııdüktif öğrcnınedc kul

l

an

ıı<

ı

c

a

k

olan bilgi

örnek

eti

L)larak

adlandırılır.

Bir

örnek

seti

{

· olarak

taıııınlandı0.ında.

("daki

(1rııcklcr bir

k ırah:tcriqik

L'ti (. ,'c·,.c·_',

_{.. . ,(."/}

\·c

hir

/)

,'/)

1 .

/J

_

. . /J,111

karar

k

d

r 1h:tcr

ist

i

...

0:i tararı

rı

daıı

t

:ı

ıııııll ınır.

K<

ıra

k

IL' ri"

t

i

k k

ri

n

h

i

1

ı

d 1allı

l

· tara

rın

d

ın \ cr

i

ı

i

r ( 1 · / 1 1,

l

· ,. .

. 1

1111 )

.

J 1

crbir

< , ( · o

1 a

11 C ·, k

i.lrak

tL' r ı \)

t

i

:

ı

ı1 ııı

h

ı

1

i

ı

1; ıııı 1 ,

d

L' e r " c 1

i

d

i

r . ...

ı

· . .

1

·• c

1 o

1

Cl

n

g<)

1 k'n1lcnL'

h

i

1 ir

h i

r

(k'

g

cr s

ct

i

d i

ı · .

1 /'

ll

_iıı

hn _ll

t

_ll _vc_d _ııı

C

ı

nk i

_{i 11}

h

i

1)ı.'

_lL'₁

k

ıııı _{" ı} _ı_-.,_ı_:

li

1 1 ı ll 1;: 1 1 ı ll 1 l • .. •·

nlarak lıc"apl8nır.

) ı

rt h.ari.ıktLTi"tikkri

ıkili

ahip i c

!!

- -

L

C'

'

2

_

'

olur.

ll

1 ı ll

' '•

Buı ada açıkça görl'ılli)tır ki.

n

çok büyük bir değer

olduğuııJa hlitl'ın hipntc/

ıı;a,

ıııı ara tırıııak pratik. hJtta

nılinı

h.

Lin d

c _'-Qi 1

d

ir.

Araıııa nıctodu, endliktir ()ğrcıııııc prosedürleri için çok

liııcn1lidir 1ıo.ıı].

/\raıııa nıetocluııa alt rnatir olarak

hipotel

lll8yıııı

ıııünıkün

olan en

az

sevıycyc in

_dir

_e

_n

nı

ct

ot

1

ar d

n

gl'

1

i

tir

i

lı

rıi

ştir

16,

1

2j.

..

.

. - .

3. ENDUK'riF

()(;J ENl\1 E

AL(;()I{J ' I'MALAI I

C)ğrcnıııe onuçları )a kesin

)-3

da tahnıini sonuçlar

olarak

bir

karar ağacı

veya bir kural seti şeklinde

\ınıllaııdırılclrak g(') tcrilcbilir. Karar ağacı şeklinde kural

üreten

algoritınalar

fJöl-ve..:fetlıet yah:laşııııını. doğrudan

kural

üreten

algoritnıalar ise

kapsanıa

yaklaşıııııııı

kullanırlar.

B

ö 1-v

c-

ı

ct

h

ct yak

1

aşınıını ku

1 1

ana

n

e

n

d

U tif

öğ

ren

111 e

a

1

_g

_n

r

i

tnı

H 1

ar

ı bi

1

g

i

y

i

bir karar ağa

c

ı ş

e

k

1

inde gösterir

1er.

Bu

yaklaşıın.

karar

ağacı kullanınıından dolayı

gcrcği

n

d

c

n ra

z 1

a kura

1

tanın1lanıaIarı

iç

er

ebi

1

ir. A yrıca

Lirctilcn kurallardaki şart

sayılarının

t 1zla olnıa ından

dolayı sonuçlar basitleştirilıııiş şekilde değildir. Bir diğer

dc;avaııtajı ise, her örnek seti için sadece bir tek karar

ağacı

oluşturıııası

ve

bu

ağacın

kural

setine

döııli türüln1csi ilc yOk sayıda kuralın üretilnıcsidir. Bunu

ııgellcınck için

1·

ı ı

d (i k

l

i

r

(

) Q rcrı lllc

;\ ı

u()

ri

Lll1 (ıli.ırı 11ııı K ll r;

ıl l

.

rL'l11lL'

( ııı ll' 1 ll k 1 ı \

L'

'- ...

Pcrl()rın;_ııısli.ırının K;ır ıL.ı ıırılın;ı,ı. _{( )}

\kL'1)hL·k

'

bu

da

nıa \'öntenılcr

i

kullcın

ıJ

ır. Bu

d

u

n

ını

d<

ı

i\

c

d

o

0

1

ulu

k

or

lll ı

ııd

a

dLi ü

olur.

Kapsanıa

yakla ııııını

kull<lııan

ndliktir

<1Qrcıııııc

....

a 1 _-

oritnıa

1

arı

b

i 1_'-'u.

i\'i do

_.. _\..-

0.

r

udan

h ir

kur<ıl eti

e

k

l

ind

e

österirlcr.

...

Karar a

Q

_acı

_vc:

_kura

₁

_{scti kavra}

_ın

1

_ar

_ı

_S

_cki

_{1 ı}·

k

ö

tcr

i

len

'

iki sınıflı

_{sınıflandırnıa probleıııi}

_için

_{açıkl 1nıııı ıır.}

\<•• · ·ı .. . ! . ... . ;

.

.. .. .. ... ' t ... . . . .. . ... ... ... . .. ...--... ...._._ ... . . .. .. ..._.. ___... . .

.

...

.

. ·-· -· .

.

.... ...-... .. . -... .. i1 • -...

.

... : _{''"''''""'OHh•o•}: ,,.. ... . . ... ....

.

.... ... ._' 1 ı... .•, ... . .

.

..., . _' _. . .. ...

'

.

, - .. . ' .. . . • _.

.

'

. . ... ---- . 1 -. ' _. ı .r!�··. r·;. .. ;ı :-• r: t. . ... -... .. .. .. .. ... .. ... ...···... ... ·--··· ... ... ... ·'_'

.

..

,.. ... . . .. ' , o ·.. ..., ... .... :· .. .... . .

.

: ,_...-... ... ... ... .. ·· ·-.... ..

.

.- ·. .. ...

.

... . . ... t' ...

.

• ... .. . t... ... "'-... ,.... ..,... .... ... -···...···... . '/ ... ___.... ; ' ·--.. .. ..

...

.

.. ... . ' . . .- ·-·· .. . i : · . · -· · .... . ... .... _.__ .. ,)

.

' . . "' ' .._ .. -· ..·-·.... ... ·-· '\" ·- ...---... .... • • .. ._{.. ,.}1 r - ..._...

.

ı (····-···�... _{· -· ·}--: '

.

d\i

1 1. Ornek _l!t_i

Şekil

1 'deki

örneklerin şekilsel gösteriınkrini, cııdUktif

ö

_bü

rennıc

11 roscdLir

1cr

indcki

n

östc

r

inıini k

ı.) 1

a)

'ı

aştırnıak

için Tablo

1

'de gö tcrildiği

gibi

karakteristik-değer

şekline dönüştürülnıü tür. Tablo

ı

'deki

örnekler

dört şart

arakteristiği

(('1• c· . ('3, C'-1)

ve bir karar karakteristiği

( ınıf)

tarafından

tanınılannıı tır.

ller

bir

şart

karakteristiği bir geonıetrik şekle karşılık gelınektedir.

Örneğin,

c·,

daireyi

( Ü

),

C2

uzun çubuğu (

).

C3

ü

ç

g

e ni

( 6

)

ve

C4

ise kareyi

( D

)

göstern1ektedir.

Bir şart karakteristiğinin

_{değeri (Cı).}

ilgili şeklin

bi

rka

ç

e 1 e

nıan

ı

nı

(

d

eğer) göst

erir [ 1 3

] .

Tablo I ·deki her bir satır bir örneği be

.

...

1

i

rtnıekted

ir.

Orneğin. ikinci satır

/C-.1=1. C':-=2. ('3

-=3.

c·

-�

-

J. Stn{{-1

/

Şekil ı·dcki ilk sınıfın ikinci

örneğini Burada:

ı

adet daire.

2 adet uzun çubuk.

3

adet üçgen \c

2 adet kare

bulunıııaktad

ır.

(4)

c2 ('1 Cı 2 1 7 "ı 7 7 -· - - - -- - ---"'

-Sınır

-' J {} - .- , ., _, ,v

S/\Cl F ıı

B _{iliınieri Enstitüsü Derg:isi I O.Cilt. I.Sa\ ı}

2006

Ta b 1o 1.

)

i

ı ı v c ri ıen ö

r

ıı

ek

s

et

iıı

i

n

k a ra k l c r

i

s l ik

-dcğer b iç

i

ın

i

()rııe

No Cı Sınır ı _-1 _- _{( )} _ı ) _ı ₃ 7 - ... ı 1 1 1 ı _, - - -1 _ı _ı _ı 1 _{) "1 o o , ) -6 ' 1 "1 () - - _) 7 -1 -1 ı ( ) R -1 ( ) ( ) - - ---· --- -

--·---Şekil

2. örnek setinden kural seti ve karar ağacı

çıkarınıını

gösternıekted ir.

Kural etindeki ilk kural:

E

..

er:: ıiç·gen1·ar

ise

J

nolu stndl.t aittir

şek

1 i n d e

y

or u n ıla n

ı

_r.

l ablo

1 'deki örnek veri seti kullanılarak üretilen kurallar

aşağıda veriınıiştir (l<.ural seti

edilıniştir).

RE X-

1 a

1 _...

go ri t

nı

as ı i

1

e e

1 de

J(ura

1 ı

J(u rn

1 1

J( u ra

1 1(

ura

1 -ı . . . .

E

Q

_...

crC

j

=

2

1-ğcr

C

1

ı

LQcrl'1 1 _ ve ...

c

3 _), ... EQ_{.._}

er

C ı

2 ve

C

j -=-ı .

..

, n ır

1 ıs

c .

Sınıf

1 ıs

c ısc

Sınır

o

.

Sınır

o

ıs

c

Kural

5 .

.

Fğcr

(

-

o

ısc

.

o

Tablo

ı

'de

k

i

örnek seti için üretilen karar

2'tl e

\ cr i

1 n1

i t

i

r

(1<

ara r

ağa

c

ı ,

C' -ı

.

5 ku ll a ııılı.1 ra k

c

₁

_{d c}

_{cd i Inı i ştir)}

r ı

₄

1-(_' ı

ı

(_..' --")

Sel il 2. _'

Karar alla

c ı_

3.

ı. Ka ra r

Ağttcı

·ra ba n

lı Al

go

ritnıala r

ağacı Şekil

a1 or i t

_{.._} nı

as ı

( )

ı·arar a[!.acı-tabanlı al oritnıalar, genellikle karar ağacını

oluşturnıak ıçın en büyük bilgi kazaneını veren

ö

7

c ll i k

1

cr

d

c

n ara nı a yap nı ak iç i n bi lg i n i n e nt ro

p

i

ö

1 ç ü

s

ün ü ku ll an ı r

1 ar [ 1

4,

15]. B u a ın aç 1a karar ağa

c

ı n ı

olu turınak için örnek setini küçük alt setiere bölerler.

Karar ağacı

g

el

i

ş

tirn

ı

e pro

edürü, eğ

i

tnı

e

örneklerini

ku\\an ı c

ı

n ı n b

c

1 i r

1

c

di ği s

o

n

1 an

d

ı

rı

na ö

1 çü tü n e gör

e d oğru

ı n ı

ll

_{andı rı lı nca\' a kadar d e}

_-' _v

_a

_nı

_e

_{d er.}

Karar ağacı-tabantı algoritınalar Böl-ve-Fethet nıetoduna

göre işlcın yaparak örnekleri alt setiere ayırırlar.

Böl-ve-Endüktil'()ğrcnnıe /\I L)ritınalarının Kural Cıretınc Ynnteınkri

'c

.._ ...

Perfornıan_ larının Karsılastırılması.

()

.

/\k!2.ı'1bc"

• 1 .._

Fet h et end ü ktif öğrenıne

'- nıetod unun ana

fikri, b ir örnek

setini, her bir alt settesadece tek bir sınıf kalınca\

_.;

· a kadar

alt setiere ayırır.

Bu

n

ı

et

od

uı

i

sonucu bir karar ağacı

şek!i ndedir. Gene

1 olarak Bö 1-vc- Fet h ct endükt if öğren nı

e

proscdürü aşağıdaki gibidir:

1. Verilen

S

örnek seti,

S11•

S

1

• .. . .

S1"

şeklinde alt

setiere ayrıştırılır. Bu:

1 1

2.

_{Her bir.)·,, alt seti için, S11'de tek bir sınıf varsa}

ayrıştırnıa işlenıi tanıanılanır ve buraya bir sınıf

etiketi olarak

düğünı konur.

_{...__}

Şek i 1 3 ' tc ay

rı

ştır nı a p

ros

e d ür

Li

g

ö ter i1nı i şt i

r.

B urada, b i r

sınıfı gösternıek üzere düğünı olarak dikdörtgen şekli

kul la n ıl nı ı ştı r.

P

ro

sc

d

ürü

ll

baş1 an g ıç no

k

ta s ı

e

n d ü

ş

ü k

ayrıştı rnıa sevı ye s ı n ı göster ir. Bir düşük ayrışt ırnıa

s

c

viyes

i

n

d

e bi r d

Cı

ğ

ü

nı

gör

Li

1 c b i 1 i r.

B

u

n

1ar

yü

k

s e

k

sev iv e

1 erdcn da lı a

ge n e 1

d

i

r.

Ay r ı ca ay n ı ay

rı

ştır

nı

a

seviyesinde ·çocuk'

düğüıııü ile

onların ·ebeveyn'

d

ü ğ ü

nıü a ra

s

ı

ll d

a k

i i

1 i ş k il c

r i ç i n

:

ı. 'l

ı '1 ) ( 1. 1 ) ==

u

5,'(

ı

1

) 1 1

1

)( 1 ı

ı

k 1

J..

ve

ifadeleri vazılabilir. Buradaki

1 ayrıştırına seviyesını

gösterir

.

...

S=(C'.D.

V)

bir

örnek

seti olarak alındığında, bu örnek

setincieki

elcnıanlar

'3ırasıyla:

C

==

{(

,

!.C

2 , ... ,Cn}

karakteri·tik setini,

ı·

{1'/.l'.?

_.

_..

.

Vn/

değerler

setini

ve

D

-=

{D/

.

f)?

,

...

.

!)n/

_{ise karar karakteristik (sınıf) setini}

belirtir. Tablo

1 'de verilen örnek seti, Böl-ve-Fethet

en d ükt if öğrcn nı e nıetoduna göre çok fark lı alt set ler

e

ayrış t ı r ıla b i

1 ir.

B u

ör n c

k

s

et

i

:

C = {C'

/.

C

1. c·3.

C

-1-/ ,

ı

l

-

1

,

1

• ?

ı

,

") ı

'-1

1

-

1

) 1 1

()

1 ? 1 1

1 ? 3

l

1o 1

) ll

.J, 1 ll .-,. 1 . • -, . . . -. ,, 1 , .-t;

ve

D

-

(0

.

1 /

bilgilerinelen oluşnıuştur. Bu bilgilere göre 239

ınüınkUn alt ct oluşturulabilir. Bu nıetot ile her bir

d

ü

ğ

Cıı

n d e

k

i a) rı

ştı

rn

1

a1ar

o

pt

i

nı

iz

e e

d i 1 er e k

veri

nı! i

ve

kabul edilebilir bir yapı elde edilebilir.

Karar ağaçları olu turulduktan sonra. ağacın her dalı bir

kural olusturacak sekilde kurallara dönüştürülür. Ancak

₁ ₁

karar

ağacını

karar kurallarına

çevirnıenin bazı

de7.avaııta.i ları vardır 1151 ve karar

ağaçları

ile işlenı

yapınak oldukça zordur. l ler örnek seti için bir tek karar

ağa

c

ı o lu ş tu r ul nı"

s

ı n da n d

o

1 ay ı kök

o 1

ar ak seç i 1 e n

karakteri ·tik bütün kurallarda yer alacaktır. Bunun

sonucu olarak birçok gereksiz kural üretilecek ve üretilen

kurall ar çok sayıda şart i fade s i içerecektir.

(5)

1 ı _• _• .. -.... --� .. '

,

l ı ..• .. ' • / ' , .. ' <(' ' . . , . ... --, . ·· \"'• ·-. ' < . , ,, ... _...,_.,""('_ .. __ t' .... '·· ("' t.·;.

.

... ... ) . ı . wo rı r.• f'O fO. . ., ... . . .. ..

.

...

.

.. ·' ,e. · ·_•·r .... o ) , ... i t, ·,

b

i

h

.

!, i

--

-1 .

( 1 • • • ı

-·

St\C'

F n B i l i nı leri E n t i t ü s ü _{Dcrg i i I O. C i l t . I . Sa\ ı}

2 00()

""" .. ' - -

.

ı .-. .. .₁

l.

.

:.: '!...:.!.:

...

.

!

:

::

· ı

'

' ,

# • .

·"*·

o)o -

'}

.

' . _. _!_. . ···� ı t ' . .-- .,.· · --··

.

... _.. _. _._. _. _{..._} _. .. 1 1 ,1 ' .. . ,· : ı'>' '; .... .

.

... .. . -. ..;) _.#..'( ... ,.,1 ıt't• ... ;-ol ,_ _{..• •}_.. ..

,

·' • •• ·- -. • • ._ · ...·••• \. ... ,. .. : ·.s 1 _·:: _{· · ,!} .. . ..; .. · - . ı • . . o ' _t _... ,..! o . · - . '('..ı .. .. _.. • · r ı c ... t•tt•

ekil 3. B<H-\ t:-Fct het cndük t ı l' öü.n:nmc metodunda a\TJ t ırma

1 ._ •

prn'\ cd ü nı

Herlıanu i b i r s ı n ı1land ı rnıa hakk ı nda

elde etınek

h

Cı

t U

n ağac

ın

g

ö

7

d

c

n geç ir i 1 nı e

s

in i ger

c

k

t

iri r.

B

i r

prnhknıi

çö11ııek,

karar ağac ı n ı k urallara d ö ııüşt ürnıekle

ıııüıııh.ündür. /\ ncak ağaç lar tara fı ndan göstcri lenıeyecek

kur;ıl lar

d a

\ ard

ı r. Örnek olarak. aşağıdak i k ura l seti

\ er i l "ı i n .

K ural 1 :

EC

E R a

K ura l 2 :

I

· .

C

'i

l

-

R

c

ı VE

b

ı

i S E S ı n ı f

=

1 ı

V 1

-.

d

1 1 S

E

ın ı

r ı

K ural- l

ve

K ura l - 2 ' n i n S ı n ı f 1 ' i kapsad ı ğ ı n ı ve d iğer tlin1

kuralların i c S ı n ı r 2' \ c a i t o lduğu kabul cd i ld iQ i nde. her

._ ._

i k i kural tck b i r ağa<ı: tara fı ndan gcistcr i le ıı1cz. Çünkü

a tlc ın kökü b i r karaktcrist i Qc öre a\ r ı l ı r ve her iki

_""" _{.._} _"'"'- _...

kura

1

<1

a it o

1a n b ir karakteri st ik yoktur . Bu d ur u nı u

ö

"'t

e

rnı

c

k iç i

n vcri

1 c n k u ra 1

1 a ra

b i r şa

r

t ın

1 1

z1ad a n

ck lcıııııc i gerekecekt i r. B u da sonuçta en az b i r fazla

kura l ı n ç ı kıııa ı ııa sebep o lacakt ı r

_r

1 6 1

.

K

arar ağa c

ın ı k u l l ana

n

i

1 k a 1

go

ri t nı a.

I

1 u nt l l 7 1 tarafı nda

n

geli t i r i lcn

(" L S

( Concept

Learn i n g

Sytenı )

algoritınasıdır. (_'LS serisi algoritnıaları n toplanı sayısı

doku1dur. Bun lardan i l k sekizi sadece i k i sın ı fl ı örnek

etleri ı k

çal ı ab i l i rkcn,

CLS9 algoritnıası nd a çok s ı n ı tl ı

tHııck lcr

çö;ü leb i l nıckted ir.

Daha son ra Q u i n l an [9]

tar 11'ından \ C bu nıetodu k u l lanan 1 [)3 a i l e · i a l goritnıaları

.._

g

c

1 i

t

i r

ı l ın i t i r.

(

I D 3 ,

,\

S TA

N 1

ve

C L

5 )

.

I D

3

J 1

g

cı

rit

nı

a

ı

11

d

a,

ayrı

ş

t ı r nı a) a re lı b er 1i k ed e

c

e k b ir b i 1gi

ö

1ç

i h

ü

(

c

n t

ro

p i

)

k u l l an ı 1 nı ışt ı r.

B

i lgi11 in c n t ro p

i

si (

1 )

ve

( ") ) eşit l i kleri yard ı ııı ıy la he aplan ı r.

1 ( s )

I

jJ( /J

=

r./1 ) log: p( D

c/1 )

1. _{, ..} 1 • .

-'

1 ( .) )

.

)

1

( ı )

( 2 )

• ••

.

l ·: n d ü k t i !' ( ) Q rc n nıc _{;\ l oritınaları n ı n K}

urlti l

:

_r_ct_ın_c _{Y <.)ı 1 l c ın kri ' c}

'-

'-5

Pcrl(H·ınan ::;ları n ı n K ar ı l n t ı rı l ına ı.

(

). i\ k t)hck

/(S). S

ö rnek et ı n ı n b i lg i değerini gösterir.

/:((

·, ,

S;_ C

· i

s ı n ı fı nd a k i örnek lere a i t b i l g i n i n cntrop i. i n i gösterır.

B i lg i kazancı ise (3 ) eş i t l i ğ i i l c hesaplan ı r.

( 3 )

I D 3

a l goritınası b i lgi kazane ı n ı nıaksi ııı ize eden bir

_...

karakteristiği kök düğünı olarak seçer. l ler düğünı için

i lg i l i alt etin b i lg i kazan c ı hesaplanarak bu düğüıııe göre

alt set iere a) rıştırnıa i şlcın int. her düğliındc tck sın ı f

ka l ı ncava kadar d evanı e d i 1 ir.

"'

Daha sonra. 1 03 cndLikı i f ÖQrcııınc al nritıııalar ı n ı 11 b i r

_... _...

serisi ge l işti r i Id i . Bu seri 1 03 a i l e · i algorit ınaları olarak

ad land ı rı l ı r

[ 1 8 1 .

ID3

algorit 11ıası n ı n versiyonları, I D3 - I V

[ 1 9] G I D3 [ 1 9 ] , 1 04 [20 ] , 1 05

f 2 1 ],

I

_D

5 R ve I [)5 R-hat

[22]

o larak say ı la b i l i r.

I

D

3 a 1gori t nı as ın ın d eva nı ı o larak g

c

1 işt iri

1e

n C

4

.

S

algori tnıas ı, I D 3 a lg or it nı as ın ı n e nd Listriye 1 versiyon u

o larak kabu l e d i l nıekte ve bugün b i rçok uznıa n l ı k

a

ı

a nı n d a yay g ı n o

1 arak k u l l an ıl nı ak ta d ır l 23

J

. I D 3

·

Lın

gel işnı i ş b i r şek l i olan C4 .5 a lgoritınas ı n ın en büyük

öze l l i ğ i karar ağac ı n ı n gereksiz d a l lar ı n ı tespit ederek

b udanıası d ı r . 8 u algori t nıan ı n b i r d i ğer öze l l iği ise eksik

... ... '-'

veri ve sayı sal değerlerle de çal ı şab i l nı es i d i r.

K arar a

o

a c ı Li r ct c n b i r d i

_bu-

er a

1

_bo

or it nı a ise B re i nıa

n

tararından gcl iştiri l ııı işt i r : C A RT ( C'Iass i ficat ion and

R

c gr e

s s

i

o

n

.

r

r c c

s

)

1 1-+ 1.

C!\ R

T ,

h er d ü

ğ

ü nı U ıı dck i t ünı

karakter i st i k leri b i rer b i rer araşt ı r ı r. I ler b i r karakterist ik

i ç i n en çok katk ıyı ·ağlayan en i y i a; rıştırıııa) ı bu l ur

,.c n

adet aday içeri · i nden en iyi ayrı t ı rına)

ı

cçer. Sa) ısal

ver i leri i lcnıck li/ere tasarlanan hu algoritnıa Böl-vc

Fethct enelCı kt i r öğrcnnı e ınetoduna göre i ş lenı ) ap nıakta

ve sadece i k i l i karar ağac ı o luşturnıaktayd ı .

Daha s o n ra ka ra r ağa c ı n ı n k ısa o

1 nı as ın ı sağ 1anıak ı ç ın

Cra\v ford 1 25 1 tarafından C A RT algoritnıasının uzantısı

o lan

OC

1 algoritınası i le G DT

-N

R ve GDT-RS

[76 J

a1oorit n ı a

_b ı

arı <'c1 i ştiri 1nı işt i r .

3.2. K u ra l 'J' a banh Algo rit m a l a r

K ural-taba n l ı algoritnı a lar kapsanıa nıetodunu k u l lanırlar.

Bu nıetot verilen örnek set inden daha genel kural lar elde

_{._}

etınck i ç i n örnek seti n i s ı n ı tlara ayı r ı r. K.apsaına nıetoJu

veri len örnek set i ne daya l ı b i r k ural uzayı h ipote;.i kurar.

R u kural uzayı h i potczi, aranıa işleınieri boyunca cl iıııinc

edi lerek en genel kural lar b u l un nıaya ç a l ı ş ı l ı r . ·K ural

u;.a yı lı i p ot c 1 i

'·ers

t\

o n ıc

uy

1

o lara k adlandır ıl ır. .

İ lk o larak M itche l l

[ 8 ]_

kap

· anıa nıctt)dunu k u l lanarak

aday-clcnlc nlgoritnıa ı n ı gc l iş t i rııı i t i r. Bu nıctodu

k u l lanan n l gori t ıııa l ar aşağ ı d a k i nıant ığa gore i lcııı

yaparlar:

(6)

1 �-J

.. ı ..

:

'

-/)

\

w ı

_'r

n

\

.

\

l

.

_{ı· L'I1 l ı ı i nı krı ı -.ıbl ıtCı....li Dcr i:-;i I O. C i lt.}

1 . '

ı

I H )h

S

_{b i r örnek set i ve}

_!!

_{vers i y o n}

_UL<.l\

_{ı k a b t ı l cd i l c.l i Q i ııdc.}

.

()rn e k l c r

ı ıı ı tl a r ı ıı a göre po;: i t i f veya n egat i f olara k

s ı ı ı ı tl a n d ı r ı l ı r lar. Seçi len örnek i l c av n ı s ı ıı ı ıta o l an

ö rn e k l e r po7 i t i f o l arak kabu l ed i l i rken, d iğer t linı ı n ı Ilanı

a i t c)rn e k l c r negar i f o l arak d i k kate a l ı n ı r . Baş langıçta //.

\·

c r i l c n po7 i t i f örn ek lerd e k i t ü ııı ı n li n ı k üıı k avranı lan

k a p l r. B u d u r u nıda gösteri len ö rnek l erd e k i

_...

erek s i z

cı

d

a y k a \ ra 111 1 a r

1

r

_da

_n

_{e 1e n cr c k , sa}

_d

_{e c c b i}

_r

_.

_{ı n ı}

tı

_{a i t}

ka\ ran ı l ar ı n k a l ıııa · ı ag lan ır. F lcıııc i ş l enı i şö} l e y ap ı l ır:

Pt)/ i t i r 1 rııc k l c n.k·

\o.

()

_

· tcr

i

l c ıı ve / / ' y i gcnc l l e\·cıı t üııı ö;el

.., -

-k{l\T ıın t aı ı ı ııı l a ı ı ı a l a r ı / / ' den i l i n i r. B u i ş lcnı ııc nt i f

s ı ı ı ı tl ar Li 1 r i ııdc de tekrarl anarak ç o k genel ka

;

ranı

ta n ı nı lcuııcl l c.l rı e l d e ed i l i r . B u vo l la

_.,

ll.

sad eec i ·tcııcn

k t t \ r(ı ı ı ı t a ıı ı ın l a n ı c ı l ar ı k a l ı ncaya kadar kadcnı c l i o l arak

k t ı \· ü l t ü l ü r. Öğren i l e n ka\ ranı l a r

· f:.:. er hill illi ise kt rur ·

;ı

L' k

1

i ıı

d

c

k

u

ra l l a r i 1 c

_...Q.

ö

s

t

c

ri

1 i r

.

B u

a

1

_'-

n

r

i t nı a

\

e r i

1

c n

(

1

r

11

c k

-.,�._· t i ı ı d c ıı t;cı k sa) ı d a k 'ı b u l ed i l eb i l i r k a v raın ı b u l ab i l i r .

,

\

n L: l ı

k

.

l)k

b ti \ Cı k örııcl-.

ct ı ı ç ı n ba lang ıçta

If' ı

' ı u t u ı-ınak n k 1.nr. lıc.llt<l ha1ı d u ruııı l arda i ın kans ı ;:d ı r.

S

b i r t1 r ı ı c k set i o l d u ğuna göre, po1 i t i f set

( S )

ve negat i f

-.;ct

(

S

-

· )

o l n ıı.ık li/ere bö l li n c b i l i r.

S

' d a k i örnek lerin hepsi

(l \ J1 ı

s ı n ı fa n i t t i r ve

ıS

;

u ,

==

L 1

ve ı

S

-T

n

s;

=

cjJ

o l u r.

ı,

u

1"

ı nı a

n

ı

ct

o

d u n u k u l l

a n

a n d

i

.._

Q

c

r b i r a

1

_'-

o

r it ın <l

i

s c

\

1 ı

L 1 d ı

t <

1

r

C. l

rı n d all

g c

ı

i ş t i ri l e n

A

Q

a i

ı

e s i

l ı

1 ı H.

it ıı ı

a

1

a

r ı d ı r

1

_'

7 1.

B u a

1 go ri t nı a 1ar da k u l l all ı

1 an

\ ö n t

c

nı a d a

\ _-

-e

1 c

ıı ı

e a l or it nı a 1ar ı n da k i i le bc n zer d i

r.

J ' ı.nk l ı o l ar a k b a ş l a n g ı tH o l uşturulan

/ J.

boş t a n ı ın lanıa lar

.

ı c r ı r.

J ),"Qrudan k u ra l üreten a l gorit nıal ara.

AQ

1\ i lesi.

CN2.

R \

'

L I

'

S

a i l e s i

f 2 ] .

I L/\ - 1

[29].

I L A-'

1 0 1 .

\ e

R E X

-\ ı l

i

1 -'

l l d lg o r i t nı u ları örnek o larak veri l e b i l ir.

- L i\ l >

f

'

K·ri

F

()(; n.

E N !\1 E A

LG() R i ·rM ,\ L

.ı

\ R l

N

1 N

P E 1 F< > 1 M

i

\ N

S

L

t

\ I{ I N

1 K A R Ş I LAŞl I R M A

J >cr !'urı n a ı ı s k a r ı la t ı rıııa ları i ç i n e n yayg ı n k u l la n ı lan

a l gtH·i t ıı ı a l a r i lc gerçek hayattan a l ı n nı ış t o p lanı 1 1 adet

v e r i set i scç i l nı i t i r l b k7.

3 2 3 3 ] .

B u veri e t l e r i n i n k ura l

· ı karıı1a ( c ğ i t i ın set i ) ve ı karı lan k u ra l ları test etnıek ( test

s e t

i

) i ç i n i k i ra

r

k l ı

s

et i b u l u n nı a k tad ı

r.

B

u ve ri

· c

t

1

e

r i i

1

e

i

1 g

i 1 i

h

i 1

g

i l e r

,

ra b 1

o

2

'

d

c

veri l ı n

i

ş t i r .

T'

ab

I

o

3 •

1·

ab

1 o

4

v

c

1 ab lo

5 · t c \

'

e r i len

R E X

a l goritınal arı na a i t sonuç lar

turdl'ıın ı / d a ı ı . d i ğer a l gor itnıalara a i t s o n u ç l a r ise i l gi l i

rc

Ic

ra n

1 ar

d

aıı

e

1d c

c

d i Inı i ş t i r.

.t . 1 . K a ra r

1 \ ğ

a

c 1

.'

\ lg

or i t ın a 1 a r

1

i 1

e Pe

rfo r n1 a n

s

Ka r a l n t

1

rnıa

\ 1

(' Ilk

ı

.

\

1 l)n

k

1

\ c

\1

oıı k 3 örnek setleri ( bkz. Tab lo ' ),

k lr ır a0:a c ı ü reten a l goritnıalar o l an

...

!DJ ,

( '-1. 5 .

r -1.

5 1<

111l · ' .

( ·

-1

5 J>

rune.

j-

P run e d

i

1 e d

o_...

Q nı da n k u ra

1 Urct ı l tı l r, r i t ııı " l l1r u lan

R f.: \'

_{a i lesi a l oritnı a l a r ı}

k u l !.ın ı l trdk l'ırL·ti lcn kur 1 l lar

· rab l

o 3 · rc ve douru l u k

_{.._}

ı Haıı l < t r ı

i-.,L

l tı h ı .) -l ' te g 1stcri l ın i şt i r [bk;

3 - L J ) J 6 . 3 7 j .

ı

i

d

u "-

t

ı

< F, r .-ı

ı

nk

\

ı

(

ı

rı

t ı ı

ı.

ı 1 .! ı · q : , ı, ,

.

ı l

ı ı

ı

ın

L'

'ı

. ı

ı

ı!L'

ı n ı

ı ı ' L' 1 \:

_r

₁ _{'rı ı}_ı:

_ı

_{ı ı '}

L.

_{:·ı ı}_ı_{ı ı}_ı _ı-.: _ı_ı, ı

Lı:-.

ı

ı ı

ın ,ı ...,

ı.

< ) \

"

l '

h

c

k

• •

1 3 u :-ı()n u ç l ır ı

\ cri l ııı i t ir :

or

c ...

;. ı p ı L.ı ı ı

1 s a

J '-

u ı d a

•

1\1 oıık

ı prob lcıı1i ı ı ıı

· ı

(lhln

3 · ıcki h i l i lcrc

_...

ör

e n

•

;.u

nt la en az k u r;t l ı L·ı rctcıı <t l o r i t ıııa ı ı ı n

(

·-1 . 5 Prune

o

1 d u

ğ

Ll

g ö

r

Li

Inı

ek

t

L'

d

i r

.

r

\

n

c

'1

k

1 1 b

1 o

-+

·

t

c

k

i

d

o

._

Q

r u

1 u k

l ) J·a n l a r ı ııcı blık ı l d ı {! ı ııd ı h u ı l tH·iıınaıı ı ıı d o üru l u k

.. _... _{._}

)raıı ı ı ı ı n

° o75 . 7

c d d u 0. t ı ve bu orı.ı n ı n d i Q.e r

ı l go r it ı

n

a l

a

r ı

g u

r c d U Cı k

,

) 1

d u

C!

u

...

(i

rU I nı

c

k t

c

d

i

r.

:\1oıık 1 pruh lcııı i i i ıı cıı

_.\

U k ck d o 0. ru l u k oran ı

J e

ğ

c

r1c ri

C · -1 5

(

ıı

o (

> ' . :'

ı \ L'

R 1·. X (

o o 9 7

.

2 .

_{0 o}

9 7 .

)

0 o

96 .

8 )

a i

Ic"'

i

l l

l)

r

ı t ıı1 ; ı

L

ı r ı n ,

ı

<. t

i tt i

r.

1 3

u a l

o

r i t 111

a 1 arı _n

'-kural sa ı ları ' "'c

c · ; 5; ırulll'

_{d ı ı ıı d a k i}

_{J i er}

_{..._}

a l g.orit ına L .ı rd,lıı

Çl'K

_{d ı h .ı d li i ı k t l'ı r. ( ·-1 _- a l or i t ın a s ı}

_...

3 1

i

d c

l

ku ra

1 i

k 11

u 1.)

]

•-

d

t ) r

u l t ı

k

o

r' ı n ı n a u

lc:i

_s

ı r k

_e

n .

. RE.\·- 1

_{ı l lH· i t nıd -.. ı}

₁

_{k u r<l l ı k}

0 o07. '

_{d �.) r u l u k}

l)

nıı1 ı ıı

<.1

u l

tl _ı

ı n ı

_' ı

ı r

( )mc k

\ct

ı

\'uıc

\ l u ı ı k l \ l n ı ı k \ 1 1 ) i l k 3 / ı Hl ı C: ll -\ 1...''\

Pd ı ıı , ' ·

rıc- ' 1

ac-'J ( l l'

Spl ı,·c

Pro ı ı _H

ıı�...·r

Iri

F !!.ıı ıııı \�...·ı ı

l )f fh.: k

\;1\ ı'ı ı

: ( ll ı 1 14

ı

() 1) ı ") 1 "7 (ı 1 ı h ı f )i ) -( lt \ ı ( 1() 7 { ) ı c....

ı \cı

ı ı .;; 1 '.2 1 2 ' - X .L ı ı ' ı 'fl

...

- - ----

--

-" arak

ı

c rı ı ı

k

\n,

_-ı s ı

_--

---l o (ı 6 6 ı () -+ ı u l) 60 5 7

.

.ı --- --·--- ---·--

·-l\1 n ı d( ) prob lcıııi i ç i n

1

{thıı.ı

_{.ı · t L' k i b i lg i l ere göre en}

a; k ura l ürctL'Il a l gl)rit ıııltlar ırası) l a

j-pruned

_r]])

\ C

( '-! 5

J>rtlltt'

r55;

a l or i t nHtlarıd ı r . Tab l o 4 ' teki

h i l g i lcrc g()rc h u a lgnritıı1a ların doğruluk ora n l ar ı

ise

1-

ri/'

Iflll'd

i

<;

i ll

o o

5

5 .

7 _\'l' (

,

-1.

5

p1 'l/17e

i

ç i

rı _o

o6

5 . o

_'

d

ı

_{r .}

( ); sa.

N/ -. \'- 1

_{�. ı lg\)rit ıı1 1s ı}

78.

_RE.Y-J

_{a lgor i t ınası}

₈₃

v

c

R

1-:. \'-

3

_a

1 g

_n

_{r it n}

₁

_a

_ı

_i

_sc

₇

₉

_{ad et k ural ü r}

et

_nı

_i

_ş

t

i

r .

Kural <-ıay ı ları n ı n el iğer i k i a lgoritınadan yüksek

n l n1asına kar ı l ı k . doğ.nı l u "- oranları

NF.\'- 1

_{i ç i n}

(). 7 ')

1

'

\'

l

. .

n n . _ , .

-

° :, 7

7 \ ı...'

NI-- \- .,

·

h _)

ı <; ı n ıse

0 o76.9

.

_{dur. Bu b i l ı i lcı ...l,ı2nıddtl kural üreten}

_{R I:}

_.

_\,

tl i lc i (tlgorit ııuı lar ı ıı ı n d P 0 r u l u k t'raıı ların ı n çok daha

\

Li k L· k cJ i d LIQllllll " k' rl l1l'ktcd i r

-

...

.

\1 u ı ı k 3 probk'ııı inı...·

ghrc

L: l l

(1/ k u rtı l ı üreten

_j-Pruned

v e

c ·-1. 5 />rune

a lglH·i t ıı ı t l n ı d ır. Bu a l oritıı1alar

'

tara l ından Lirct i kıı k ural ay ı ları sırası\

· la

_{1 3}

_ve

l O . d ir f\ onk3 verı et i n i .

;- Prunt:d

0 o90.9 ve

_{( '-1. 5}

fJI'lllll> 0 o9 7 . 2

_{doğru l u k la s ı n ı fland ı rınışt ır.}

RL';.\'- 1

1 lgor i t nıası ic;c

26 k u ra l i le

0/o93 . 5

_{doğru l u k l a}

ı ıı ı lla ııd ırah i l ııı işt i r . H u b i l g i ler. Monk3 p ·ob lenı ı

i i rı

(

·-1

5erulll'

ttl urıııı ıLı.-.. ı n ı ıı l)k daha i) i bir onu

(7)

- - - -- - -- ----') ' 1 7 . ) ) ,., l ı ') 1 - - - -h .... ... .., - - - ----°1o ı g g _t ' . ğ ... . ı.z \ \ l h : n l i i l ı ın l cri 1 - n t i t lhü Dl' r i i

ı ()

C i l t .

ı

S a \ . ı ' ( )( )()

Lıhlo 3. \ l n n k _{prııhl .:mkrı}ı ç ı n _{elde cdıkıı kural "a ı l a rı}

- --\ l ı , r ı ı ı ı ı a \ 1_t)ll_kı _{\ l o n k :} \1_onk₃ -- · -l -l ) _' - ' _{l O:'} ) () l ı "' (1( ) l U -\.. ı .; 111 ll l l L' t) l() ( ı "' 1\uk 3 1 l)7 , , _ J ı - P ı ııııcd 1 :' ı 3 k i \- ı 2 1 7 X ., () . ı .. 1 - .\ -- X3 2 · IZ I · .\ - 79 ">6

I

n d

Cı

k t i f o gr l..' n ııı e a 1gori t nı a 1 a r ı aras ı n d a e n ıyı

d

.ı1.1 rıt ı na1 ar o

1

ara C'-ı. 5 a1_...gori t lll a

1

arı ka b u l cd i 1 d i ğ in d e n._...

ı -.,() lllt lara gürL'

R I X

a i lesi algoritnı a l a r i l c e l d e ed i len

nu laı ın ·uk

I)

i o l d u ğ u rahat l ı k la söy l e n eb i l i r. Çünkü

: algori tııı ,1]ar veri len c ğ i t i nı set i n den daha az sayıda

r ı l lar

Lı

ret ınc lde " c test veri 1cr i ne _t:ıo öre

veı

_{_.} ksek

cl

o <r ru _b

1

uk

ıııııııd ı sonu \ L' rt ncktcd irler.

1 l o _4. l t'"l \ L'I I

l'tkı ı

k ı t i l a n ı l a ra k _{cltlc cd ı kıı}dn!!n ı l u k ora n l arı

l l l iHd ... l ' l lllll' \ l l l i l k _ı X 1 ı lO o cı X ) , _ lt )0 11 - .., )" .... ( ll -\ l n n k 2 _{\ 1 on k )} _{( >rtalama} ()t) l)()" 1) l) ı 7()"₁₎ Xll X7''o ()l) 7( )11 o l)( ı 3 0° _C) xo xoıı _o (, { l( )Cl l) l)7 20° Cl 7l> _;o· o

1

.;; 1\Uk\ l} "' ' '" " () () _-">( )ll ll l)(1 3 ()O ll X -1 ) ·' _) ... .... oo llll.'d lı' X( ııı ıı \ ı l) 7 2011 " - - 7()0 )) o 76.4011 o l){) {)()O Cl 9] )( )' o 7 _ı_.-+7' (l / X9. 03 \ 1 \ "' lJ7 -1 ( )0 (\ 7 ' . "'O'% S9 .40°/cı 8 6 . 1 7o/o \- ; l)(ı _xıı" cı 7 6 l)( )Ot() l) ı . ()()ll ) t . - _) ) , U o

1. 2 . ( ; c .-\'t'k

\'t'

r

i

Setleri i l c Pcrfo r n1a n s K a rşı laştı r m a

dh ll)

2 · d

ck i ' er i leri k u l lanarak. a ! Qoritnıalar '- t arafından

L' ı ' c ri sL' t i i

<;

ı ıı L' ldc cd i lcn d oğru 1 u k oraıı 1 arı Ta b 1o

5

' te

\ L ı i l ı n i ı i r l hk 1 . 2 9 , ) 0 . 3 5 .3 7 3 8 1 . E l d e e d i len bu d eğerler,

' o

1

cl nQru l u k _... _{lH·an ları nc1} _...göre s ı ralan d ı k larında en

\ Cık L'k d()ğnı l t ı k ()r ı n ı n ı sağ layan a l go ri tnıa o l arak R

EX-' lı lg.\)r i ı n1a ı g()rli l nıcktcd ir. Tablo S ' t c k i koyu ( bo l d )

ı 1

ı l

t1r L' 11 _-\ ük �.ıL' k dcğer_'--"

1

eri _'--göster nı e k t e d i r . B u n a ör e _...

1

5 R uh·, _{a h .!L) r i t nı ısı} _{3 ,}

C-1. 5Prıii7C!

_{a l o r i t nıa} ı _{' ·}

!DJ

...

l o ı itın ısı

. . ll. 1

a l o r i t nı a _... ı .3 . 1/. A - a l o r i t nıası

-L

( 1 _{ltl l)riı nı ı ı} _{' .} _{( '.\'}} _{a l 0.orit n ı a s ı} _{3 ,} R L.\'- 1

...__

l ..!oritıııtt�.ıı

ô.

ur·.\ _{a l or itnıası} _{4 \ e}R f:.\--3 _{a l orit ıııası}

... ._

ür n c ktc L'n \ ü _- ksc k d oğru l u k o ran 1 a r ı n d a k ura 1_...

rı.?l 111 i-.. krd ir. ₁

lıhlu ) ' tL·k i (1rnek set l e ri n i n ort a laına doğru luk ._

uran lar ına ör c c n v_- ü k ek doY,r u 1 u k ora n ı 0/o8 6 . 9

2

i

1

c

N F_\-- 1 . _{i k i n c i en \}_üksek _{doğru l u k oranı ô 8 5 .-+2 i lc} R

E)(-.

3. U

_·u

r ı c

Cı

c11

) Li

c k d oğru 1u k oran ı 8 4 .

O

7

i

1

e

C '1\'l

ve

d

(

)r

d

L

ın c ü c11 _-\

Li

ksc k do ru l u k ora n ı i se t> 8 4 .

O

3 i 1 e R E.'(-

'l

a 1 uri t111_{..._} _ı.1sı na ;J i tt iı .

.

..

F n d Ct k t i r ( > ü rcn ınl' /\ l un r i t n w l a r ı n ı n K u r; ı l t l rl' l ı n c Y d ııtcıııkri _{\ C}

7

L l 'c r l (. ı r ı ı ıa n l a r ı n ı n K c ı r ı l n t ı rı l ı ı w -.; ı .

C\

5. SON UÇLAR

H erhang i b i r prob l e n ı i çözn1ek ı ç ı n kul lan ı lc:ıcak a l gor i t nı a n ı n scç i n ı i çok önenı l i d i r. D i k kat ed i l ecek tenıel

i k i k avranı vard ı r : B i r i n c i i : örnek set ı n ı en ıvı

s ı n ı tl an d ı ra b i len başka h i r i f ıdc i l c doğru l u k ora n ı en y üksek o l a n a l goritnıa n ı n . d i ğeri ise: en ai' a) ıda kural

ü reten a lgori tnıan ı n seç i I nı e - id i r . "ü n k ü büyük bi r örnek

setinden ü ret i len k ural ların çnk

.

ay ıda a l nıası

k aç ı n ı l nı azd ı r . B i r örnek ver ı n ı n bu kural lara _'-öre

d eğer

1

en d i r i Iere k b i r so n u ç c

1

d e e d i

1

nı e s i tülll k u ra l ları n

ve bu k ural larda yer alan şart ların kontrolüne göre yap ı l ı r.

B u n d an do

1

ay ı h ız l ı s o n uç

Li

r ct i 1 nıcs i n i ger e kt i r e n

d u nını larda k ura l say ı s ı n ı n az o l ınası büyük önenı taşır.

Endükt i f öğrcnnıe alanındaki a l goritn1alar iki fark l ı

yak

1

aş ı nı k u l l ana ra k kura

1 y

ıkarnıa iş 1 e nı i n i

gerçc k l şt irı n cktcd i r. ]( arar ağacı yak l aş ı nı ı ı1ı k u l lanan

a h 2,oritınalar '-;adece b i r karar aQac ına göre kural _{...__}

ü retnıc lcrin Jcn do layı t ı z l a sayıda k u ral ç ı k nı a s ı n a sebep

o 1 nı ak ta d ı r. B u n u cng c l l c nıe k iç in az ön c nı c sa lı i p o

1

an

k u ra l l a r budanıııaktad ır 1 bkz. 3 9 J . Doğrudan kural üreten a

1

gor iı n ı a

1

ar is c b i

1

g i n i n d e ğ cr in i ö

1

çnı_cd e n _kura1 ü rett i k lc r i n dcn. gerck si1. b i lgi içeren k ura l l arı n ç ı knıasına sebep o l nıaktad ır. CN2, C4 . 5 a i lesi ve

RE X

ai lesi a l goritıı ı a l arı n ı n öze l l i k le entro p i ö l ç üsüne göre k ural ü retıneler inden dolayı daha ıyı son uçlar ürett i k leri görü l nı e k tcd i r .

._

R E X

a i l e s i a lgorit ınalar ı n ı n so n u ç l a r ı d i k kate a l ı nd ı ğ ı nda.

ge 1 işt i r i lecek yen i e nd ükt i f öğren nıe a lgoritnı a ları nda s adece aranıa yönteın lerini k u l l a n nıak yerine. b i lgi ö l çüsüııü k u l lannıak ve buna göre kura l lar e lde etıııek a lgori t nı an ı n daha az sayıda kural üretnı esi ve daha

y ü ks e k d oğru l u k oran ı na sa h i

p

o

1

nı as ı bak ı nı ı ıı da n yararl ı