Jeomorfolojik Analizler

Figura 6.4: Representac¸˜ao Gr ´afica das Hip ´oteses Induzidas porSee5.

• Verificar as diferenc¸as entre os resultados obtidos pelas hip ´oteses constru´ıdas pelo RCO com as hip ´oteses induzidas por CN 2 e See5 quando todos os conjuntos de exem- plos de treinamento s˜ao utilizados por esses dois indutores;

• Analisar cada uma dessas hip ´oteses internamente, ou seja, as regras que constituem essas hip ´oteses.

O conjunto Steste mencionado foi gerado com 1000(mil) exemplos, tamb´em balanceado,

independente dos conjuntos S1, ..., S8gerados anteriormente. Para realizar as comparac¸˜oes,

os experimentos podem ser divididos em duas fases:

Fase 1: Verificar as hip ´oteses induzidas por CN 2 e See5 utilizando todos os exemplos (S1S ... S S8) em cada experimento.

Fase 2: Verificar as hip ´oteses constru´ıdas por RCO. A seguir, ´e feita uma descric¸˜ao dos trˆes experimentos.

6.2 Descric¸ ˜ao dos Experimentos Realizados

As duas fases dos experimentos 1, 2 e 3 podem ser visualizadas nas Figuras 6.5, 6.6 e 6.7. Deve ser observado que as hip ´oteses h1, ..., h7 foram induzidas uma ´unica vez, e se

aparecem nessas figuras como induzidas uma ou mais vezes, o ´unico motivo ´e para facilitar a visualizac¸˜ao.

Na fase 1 do experimento 1, foram induzidas 2(duas) hip ´oteses, uma com oCN 2 e outra com o See5, utilizando como conjunto de exemplos a uni˜ao dos conjuntos S1, S2, S3 e

S8 — Figura 6.5. Para cada uma das hip ´oteses, foi medido o erro aparente e utilizou-se

a t´ecnica de 10-fold cross validation para estimar a taxa de erro e desvio padr˜ao de cada hip ´otese, bem como o n ´umero de regras induzidas utilizando todos os exemplos. Deve ser observado que nesta primeira fase, ambos os indutores tˆem acesso a todos os exemplos utilizados no experimento. Assim, poderia se supor que cada indutor induziu a hip ´otese

Figura 6.5: Ilustrac¸˜ao do Experimento 1.

6.2 Descric¸ ˜ao dos Experimentos Realizados

Figura 6.7: Ilustrac¸˜ao do Experimento 3.

mais precisa nesta primeira fase do experimento. Analogamente, na fase 1 do experimento 2, foram induzidas 2(duas) hip ´oteses, uma com o CN 2 e outra com o See5, mas, como conjunto de exemplos, foi utilizada a uni˜ao dos conjuntos S1, ..., S5 e S8 — Figura 6.6. De

forma semelhante, na fase 1 do experimento 3, foi utilizado como conjunto de exemplos a uni˜ao dos conjuntos S1, ..., S8 para a induc¸˜ao das duas hip ´oteses utilizando o CN 2 e o

See5 — Figura 6.7. Os resultados obtidos s˜ao mostrados na Tabela 6.1.

Subconjunto/ Erro # de Regras

Experimento Algoritmos

# Ex. Treinamento Aparente e± SD Induzidas CN 2 S1 ❙ S2 ❙ S3 ❙ S8/480 1.40% 4.46%± 0.85% 15 1 See5 S1 ❙ S2 ❙ S3 ❙ S8/480 2.20% 3.30%± 0.90% 7 CN 2 S1 ❙ ...❙S5 ❙ S8/720 2.00% 2.99%± 0.60% 15 2 See5 S1 ❙ ...❙S5 ❙ S8/720 2.00% 3.00%± 1.20 % 7 CN 2 S1 ❙ ...❙S8/960 1.40% 2.76%± 0.44% 15 3 See5 S1 ❙ ...❙S8/960 2.10% 3.00%± 0.40% 8

Tabela 6.1: Resultados Obtidos Utilizando CN 2 e See5 na Fase 1 dos Experimentos 1, 2 e 3

Para a realizac¸˜ao da fase 2 dos experimentos 1, 2 e 3, foram induzidas as hip ´oteses h1, ..., h7, utilizando como conjuntos de exemplos os conjuntos S1, ..., S7 respectivamente,

conforme dito anteriormente. O erro aparente de cada hip ´otese e o n ´umero de regras induzidas bem como a estimativa da taxa de erro e desvio padr˜ao utilizando a t´ecnica de 10-fold cross validation s˜ao mostrados na Tabela 6.2.

Subconjunto/ Erro # de Regras Classificadores

# Ex. Treinamento Aparente e± SD Induzidas

h1 S1/120 0.80% 7.50%± 2.31% 13 h2 S2/120 0.00% 3.33%± 2.55% 7 h3 S3/120 0.80% 4.15%± 1.38% 12 h4 S4/120 0.00% 0.00%± 0.00% 7 h5 S5/120 0.00% 5.82%± 3.29% 9 h6 S6/120 0.80% 4.20%± 2.60% 6 h7 S7/120 2.50% 5.80%± 2.50% 6

Tabela 6.2: Resultados Obtidos nas Hip ´oteses de Entrada h1, ..., h7

Na fase 2 do experimento 1, foram constru´ıdas as hip ´oteses h1 accR, h1 covR, h1 satR,

h1 sensR, h1 specRe h1 supR. Para isso, foram utilizadas as hip ´oteses h1, h2e h3e o conjunto de

exemplos S8 — Figura6.5. A Tabela6.3mostra o n ´umero de regras selecionadas (inclusive

a regra default), o n ´umero de exemplos que restaram na construc¸˜ao de cada uma dessas hip ´oteses (que, portanto, foram classificados pela regra default), o erro aparente cometido no conjunto S8 e o erro cometido no conjunto de teste independente Steste.

Erro Erro em # de Regras # Exemplos Classificadores

em S8 Steste Induzidas N˜ao Cobertos h1 accR 0.00% 6.00% 12 03 – 02.50% h1 covR 0.00% 6.00% 3 60 – 50.00% h1 satR 0.00% 6.00% 12 03 – 02.50% h1 sensR 0.00% 6.00% 3 60 – 50.00% h1 specR 10.00% 7.50% 6 57 – 47.50% h1 supR 0.00% 6.00% 3 60 – 50.00%

Tabela 6.3: Resultados Obtidos UtilizandoRCO — Fase 2 do Experimento 1

Analogamente, na fase 2 do experimento 2, foram constru´ıdas as hip ´oteses h2 accR,

h2 covR, h2 satR, h2 sensR, h2 specR e h2 supR. Para isso, foram utilizadas as hip ´oteses h1, ..., h5

e o conjunto de exemplos S8 — Figura6.6. Os resultados obtidos para as hip ´oteses h2 accR,

h2 covR, h2 satR, h2 sensR, h2 specR e h2 supR s˜ao idˆenticos aos obtidos na fase 2 do experi-

mento 1 — Tabela 6.3. Ou seja, foram constru´ıdas as mesmas hip ´oteses que no experi- mento anterior. Em outras palavras, as regras que constituem as hip ´oteses h4 e h5 nunca

foram consideradas melhores porRCO.

Apesar das regras que constituem as hip ´oteses h4 e h5 induzidas por CN 2 n˜ao terem

influˆencia nas hip ´oteses constru´ıdas por RCO, essas duas hip ´oteses foram mantidas no experimento 3 pois os exemplos utilizados para induzi-las s˜ao tamb´em utilizados por CN 2 e See5 na fase 1 do experimento, influenciando no c ´alculo do erro e desvio padr˜ao dos classificadores induzidos por esses dois algoritmos de AM. Assim, foram constru´ıdas as hip ´oteses h3 accR, h3 covR, h3 satR, h3 sensR, h3 specR e h3 supR. Para isso, foram utilizadas as

hip ´oteses h1, ..., h7 e o conjunto de exemplos S8 — Figura 6.7. Os resultados obtidos s˜ao

mostrados na Tabela6.4. Observando os conjuntos de regras constru´ıdos pelo RCO nesse experimento, apenas a hip ´otese h3 covR apresentou uma pequena diferenc¸a em relac¸˜ao a

h1 covR e h2 covR. Todas as outras hip ´oteses s˜ao idˆenticas `as hip ´oteses constru´ıdas nos

6.2 Descric¸ ˜ao dos Experimentos Realizados

Erro Erro em # de Regras # Exemplos Classificadores

em S8 Steste Induzidas N˜ao Cobertos h3 accR 0.00% 6.00% 12 03 – 02.50% h3 covR 0.00% 9.00% 3 60 – 50.00% h3 satR 0.00% 6.00% 12 03 – 02.50% h3 sensR 0.00% 6.00% 3 60 – 50.00% h3 specR 10.00% 7.50% 6 57 – 47.50% h3 supR 0.00% 6.00% 3 60 – 50.00%

Tabela 6.4: Resultados Obtidos UtilizandoRCO — Fase 2 do Experimento 3)

Esses resultados n˜ao s˜ao os esperados, isto ´e, obter as mesmas hip ´oteses nos diversos experimentos. Assim, foi decidido investigar cuidadosamente o motivo das hip ´oteses cons- tru´ıdas por RCO n˜ao serem distintas quando o conjunto de hip ´oteses H ´e incrementado com novas hip ´oteses. A explicac¸˜ao ´e simples e est ´a intimamente ligada ao crit´erio de desempate, por n ´os implementado, para escolher a melhor regra. O crit´erio de desempate utilizado ´e descrito pelos passos 1 e 2 a seguir:

1. Sejam as hip ´oteses h1, h2, ..., hL, nessa ordem, os dados de entrada do RCO. Ent˜ao,

se em uma iterac¸˜ao do RCO existirem duas regras Ru e Rq, com Ru ∈ hi e Rq ∈ hj,

i < j, ambas com a mesma melhor medida segundo o crit´erio implementado, o RCO escolhe a regra Ru, pois i < j. Em outras palavras, se a hip ´otese hiprecede a hip ´otese

hj ent˜ao, em caso de empate, as regras que constituem hi tˆem precedˆencia sobre as

regras de hj;

2. Supondo que existam, em uma iterac¸˜ao doRCO, duas (ou mais) regras Ru e Rq nessa

ordem, todas com a mesma melhor medida segundo o crit´erio implementado, ent˜ao, independente de pertencer `a mesma hip ´oteses ou a hip ´oteses diferentes sempre ser ´a escolhida a regra Ru e, no caso desta regra n˜ao cobrir nenhum exemplo, a iterac¸˜ao do

RCO p ´ara.

Como pode ser observado, esse crit´erio de desempate favorece a escolha das regras das primeiras hip ´oteses. Em outras palavras, RCO n˜ao “enxerga” as regras das hip ´oteses posteriores. Isso explica o motivo deRCO construir a mesma hip ´otese quando ´e utilizado o conjunto de hip ´oteses{h1, h2, h3} ou o conjunto {h1, ..., h5}. Neste caso espec´ıfico, nenhuma

das regras das hip ´oteses h4 e h5 foi considerada porRCO.

Uma forma de diminuir esse bias2 ´e escolher aleatoriamente a melhor regra a ser utili- zada na hip ´otese constru´ıda pelo RCO. Assim, foi decidido revisar o crit´erio utilizado para escolher a melhor regra em caso de empate. O novo crit´erio ´e tal que, em cada iterac¸˜ao, seleciona-se, de forma aleat ´oria, uma regra do subconjunto de regras que cont´em as re- gras com a mesma melhor medida. Se a regra selecionada n˜ao cobre nenhum exemplo, seleciona-se aleatoriamente outra regra desse subconjunto. O processo continua at´e que alguma regra selecionada cubra ao menos um exemplo do conjunto de exemplos dispon´ıvel na iterac¸˜ao, ou at´e que esse subconjunto de regras esteja vazio.

2_{O bias de um algoritmo de aprendizado de m ´aquina mede o quanto, na m´edia, as hip ´oteses induzidas pelo} algoritmo de aprendizado sobre todos os poss´ıveis conjuntos de treinamento de um dado tamanho se aproxima da hip ´otese verdadeira.

Com oRCO revisado, o experimento 3 foi repetido 3(trˆes) vezes, com as mesmas hip ´oteses de entrada h1, ..., h7 e o mesmo conjunto de exemplos S8, com o intuito de verificar se as

hip ´oteses constru´ıdas s˜ao distintas e melhores que as anteriores.

Analogamente `a fase 2 do experimento 3, para as hip ´oteses h4 accR, h4 covR, h4 satR,

h4 sensR, h4 specRe h4 supRconstru´ıdas, a Tabela6.5mostra o n ´umero de regras selecionadas

(inclusive a regra default), o n ´umero de exemplos que restaram na construc¸˜ao de cada uma dessas hip ´oteses (que, portanto, foram classificados pela regra default), o erro aparente cometido no conjunto S8 e o erro cometido no conjunto de teste independente Steste. J ´a

esses dados medidos para as hip ´oteses h5 accR, h5 covR, h5 satR, h5 sensR, h5 specR e h5 supR

s˜ao mostrados na Tabela 6.6, e para as hip ´oteses h6 accR, h6 covR, h6 satR, h6 sensR, h6 specRe

h6 supR, s˜ao mostrados na Tabela 6.7.

Erro Erro em # de Regras # Exemplos Classificadores

em S8 Steste Induzidas N˜ao Cobertos h4 accR 0.00% 6.00% 6 20 – 16.67% h4 covR 3.33% 9.00% 3 60 – 50.00% h4 satR 0.83% 5.50% 7 05 – 4.17% h4 sensR 3.33% 9.00% 3 60 – 50.00% h4 specR 0.83% 6.00% 7 23 – 19.17% h4 supR 0.00% 6.00% 3 60 – 50.00%

Tabela 6.5: Resultados Obtidos UtilizandoRCO — Experimento 4 Erro Erro em # de Regras # Exemplos

Classificadores

em S8 Steste Induzidas N˜ao Cobertos h5 accR 0.00% 4.50% 8 20 – 16.67% h5 covR 3.33% 9.00% 3 60 – 50.00% h5 satR 0.00% 6.00% 11 04 – 33.33% h5 sensR 3.33% 9.00% 3 60 – 50.00% h5 specR 0.83% 3.00% 9 25 – 20.83% h5 supR 3.33% 9.00% 3 60 – 50.00%

Tabela 6.6: Resultados Obtidos UtilizandoRCO — Experimento 5 Erro Erro em # de Regras # Exemplos

Classificadores

em S8 Steste Induzidas N˜ao Cobertos h6 accR 0.00% 6.00% 7 24 – 20.00% h6 covR 3.33% 9.00% 3 60 – 50.00% h6 satR 0.00% 4.50% 8 20 – 16.67% h6 sensR 3.33% 9.00% 3 60 – 50.00% h6 specR 0.00% 6.00% 7 20 – 16.67% h6 supR 3.33% 9.00% 3 60 – 50.00%

Tabela 6.7: Resultados Obtidos UtilizandoRCO — Experimento 6 Deve ser observado, nesses 3 experimentos (experimentos 4, 5 e 6), que:

• Com os crit´erios de avaliac¸˜ao de regra covR e sensR, foram induzidas hip ´oteses idˆenticas nos 3 experimentos. Entretanto, foi observado que h ´a uma diferenc¸a na ordem em que as regras foram selecionadas.