O método de projeto do classificador de dados binários proposto neste tra- balho de tese é baseado na filtragem dos dados binários de entrada do mini- mizador de função Booleana. Este pré-processamento envolve a escolha das
amostras de dados binários que melhor representam cada classe, espacial- mente localizadas fora da margem de separação das classes, porém perto da margem (Lacerda & Braga 2004).
Partindo da suposição de que, dentro da margem de separação das classes, há uma mistura espacial dos dados de classes diferentes, estes dados são descartados juntamente com os dados que estão bem no interior das classes. Os dados selecionados (restantes) são suficientes para definir a fronteira de separação entre as classes, com uma superfície de decisão suave o bastante para garantir a generalização adequada. Além disto, a quantidade menor de dados resulta em uma diminuição no custo de armazenamento e de processa- mento.
A seguir, é explicado o procedimento de seleção de amostras proposto neste trabalho de tese. Serão utilizados exemplos com dados reais de duas dimen- sões para facilitar a compreensão do algoritmo. A métrica utilizada nestes exemplos é a Euclidiana. Na seção seguinte (5.3), são apresentados os re- sultados obtidos com o método proposto na solução de alguns problemas de classificação com dados binários. Diferentes métricas são testadas com o al- goritmo.
5.2.1 Etapas do Método Proposto
Suponha um conjunto X de n amostras reais xi(xi ∈ ℜ2, X = {x0, x1, · · · , xn−1},
i = {0, 1, · · · , n − 1}) de dimensão d = 2 (xi ∈ ℜ2, xi = {xi0, xi1}) onde cada amostra
xi é associada a uma das possíveis classes. Para efeito de simplificação serão
consideradas apenas duas classes (0 ou 1). A Figura 5.1 mostra um exemplo deste conjunto de dados classificados em “círculo” ou “cruz”. A função de um classificador é associar uma amostra y desconhecida (sem classe) à sua classe mais provável baseando-se no conjunto X de amostras conhecidas.
A filtragem tem por objetivo não só a redução da quantidade de amostras de treinamento, mas também à melhoria na capacidade de generalização do clas- sificador com projeto baseado nas amostras selecionadas. Para o processo de seleção de amostras a serem utilizadas no projeto do classificador, é proposto um algoritmo de três etapas:
1. Seleção das amostras que estão mais próximas da fronteira de separação das classes (amostras da margem) utilizando um método semelhante ao proposto por Gowda (Gowda & Krishna 1979). Este subconjunto é con-
sistente, ou seja, quando utilizado como referência à regra do vizinho-
mais-próximo, classifica corretamente todas as amostras de treinamento. 2. Redução do subconjunto consistente, utilizando a técnica proposta por Gates (Gates 1972) onde para cada amostra do subconjunto consistente
Figura 5.1: Exemplo de conjunto de dados em ℜ2 de duas classes: “círculo”
ou “cruz”.
é testada sua necessidade para manter a consistência do subconjunto. O subconjunto restante é automaticamente determinado, pois compreende as amostras de treinamento originais sem as amostras do subconjunto consistente reduzido.
3. Redução das amostras do subconjunto restante pela seleção das amos- tras que estão mais próximas do subconjunto consistente reduzido. A quantidade de amostras selecionadas é determinada pela quantidade (k) de vizinhos mais próximos escolhidos para cada amostra do subconjunto consistente reduzido (Lacerda & Braga 2004).
A seguir é detalhada cada etapa do algoritmo proposto, denominado RSR (Redução do Subconjunto Restante).
5.2.2 Subconjunto Consistente
A obtenção do subconjunto consistente parte da suposição de que as amos- tras de interesse estão perto da fronteira de decisão da classe. Assim, na região do espaço das amostras em que há uma mistura de classes, ou que pelo menos amostras de classes distintas estão mais próximas segundo uma métrica de distância, são selecionadas gradativamente pares de amostras de classes distintas para fazerem parte do subconjunto consistente, em ordem de distância entre as amostras de classes distintas que fazem parte do par. Quando as amostras selecionadas são capazes de classificar corretamente as demais amostras pela regra do vizinho mais próximo, o processo de seleção termina. Isto é descrito formalmente pelo algoritmo a seguir:
1. Para cada amostra xi do conjunto de treinamento X, encontre o vizinho-
Figura 5.2: Subconjunto consistente.
(calculando a distância entre duas amostras), formando um par (xi, xj).
Poderão haver pares diferentes com amostras repetidas.
2. Ordene os pares de amostras do passo anterior em ordem crescente da distância entre si e armazene-os em um vetor ORDEM.
3. Retire do conjunto de treinamento as amostras constantes no primeiro par de amostras (de distância menor entre si) de ORDEM e armazene no subconjunto consistente (inicialmente vazio). Pode ser que alguma amostra já tenha sido transferida.
4. Classifique cada amostra do conjunto de treinamento pela regra do vizi- nho-mais-próximo simples utilizando como referência o subconjunto con- sistente. Se houver algum erro, retorne a 3 considerando o próximo par de amostras de menor distância entre si. Caso contrário, finalize.
O subconjunto consistente final obtido pelo procedimento acima classi- fica corretamente todos os dados de treinamento pela regra do vizinho-mais- próximo. A Figura 5.2 mostra o resultado do algoritmo acima utilizando os dados da Figura 5.1 como entrada.
5.2.3 Redução do Subconjunto Consistente
Não é garantido que o subconjunto consistente obtido pelo procedimento anterior seja mínimo, portanto pode ser reduzido utilizando alguma técnica, como o procedimento descrito a seguir:
1. Copie o subconjunto consistente para o subconjunto consistente reduzido (inicialmente vazio).
Figura 5.3: Subconjunto consistente reduzido.
2. Remova a última amostra do subconjunto consistente reduzido orde- nado em ordem crescente das distâncias entre os pares mais próximos de amostras de classes diferentes.
3. Utilize o subconjunto consistente reduzido como referência para classi- ficar as amostras do conjunto de treinamento pela regra do vizinho-mais- próximo simples:
(a) Se todas as amostras são classificadas corretamente, vá para 4. (b) Se uma amostra é classificada incorretamente, retorne a amostra
que foi removida do subconjunto consistente reduzido em 2 e vá para 4.
4. Se todas as amostras do subconjunto consistente reduzido foram removi- das uma vez (e possivelmente recolocada) então pare. Caso contrário, re- mova a próxima amostra do subconjunto consistente reduzido (como em 2) e vá para 3.
Não é garantido também que o resultado deste procedimento seja um sub- conjunto consistente mínimo, mas será próximo do mínimo. A Figura 5.3 apresenta o resultado do algoritmo acima quando utiliza os dados das Figuras 5.1 e 5.2 como entrada. O conjunto de treinamento original menos o sub- conjunto consistente reduzido forma o subconjunto restante ou subconjunto editado (Wilson 1972), que é utilizado na próxima etapa. A Figura 5.4 mostra o subconjunto restante obtido com o conjunto de dados anterior.
5.2.4 Redução do Subconjunto Restante
As amostras obtidas pelo procedimento anterior já garantem uma boa ge- neralização para o classificador, por causa da filtragem das amostras que se
Figura 5.4: Subconjunto restante.
encontram perto da fronteira de classes, tornando a superfície de decisão mais suave. Entretanto, nem todas as amostras presentes no subconjunto restante obtido na etapa anterior são necessárias para manter o mesmo desempenho de classificação quando utilizando o subconjunto restante total. Assim, é desen- volvido um procedimento para redução do subconjunto restante, utilizando a regra do vizinho-mais-próximo. O procedimento é descrito como:
• Obtenha, do subconjunto restante, os k vizinhos mais próximos de cada classe para cada amostra do subconjunto consistente reduzido, e ar- mazene em um subconjunto restante reduzido (inicialmente vazio). Pode ser que alguma amostra do subconjunto restante já esteja no subcon- junto restante reduzido, assim ignore-a.
O valor de k pode ser escolhido arbitrariamente ou pode ser ajustado ite- rativamente pelo algoritmo baseado no desempenho do classificador obtido. A dificuldade está justamente em escolher o valor de k mais apropriado de forma a garantir o melhor desempenho para o classificador. A Figura 5.5 apresenta o resultado final do algoritmo para o subconjunto restante reduzido sendo 3 o valor escolhido para k.
Ao final do procedimento acima (com um valor apropriado para k), o sub- conjunto restante reduzido será capaz de garantir ao classificador o mesmo desempenho obtido utilizando o subconjunto restante total.