Como já se sabe, os variados arranjos de ensembles apresentam diferentes resultados em termos de desempenho. Desta forma, faz-se necessária, para a construção de um modelo de recomendação, a aplicação do conhecimento de Meta-aprendizado para associar os modelos que apresentaram melhor desempenho, as meta-características dos problemas na qual foram aplicados. Por outro lado, fazemos uma divisão quanto a abordagem de meta-aprendizado a ser aplicada, e adotamos as nomenclaturas: Meta-aprendizado Tradicional e Meta-aprendizado Multirrótulo. Em ambas divisões, o processo de associação é realizado em quatro etapas sepa- radamente. (a) A primeira etapa é referente à extração de meta-características do total de 200 problemas de classificações, conforme ilustrada na Figura 8. (b) A segunda etapa é referente à associação entre desempenho dos modelos de arquitetura as meta-características dos problemas aplicados, dando suporte ao processo de recomendação do tipo de arquitetura, conforme ilus- trada Figura 9. (c) Já na terceira etapa, mapeamos os desempenhos dos modelos homogêneos as meta-características dos problemas aplicados, dando suporte ao processo de recomendação dos componentes homogêneos. E por fim, (d) a quarta etapa (essa etapa só é implementada na abordagem multirrótulo), que faz o mapeamento do desempenho dos possíveis componentes he-
terogêneos as meta-características dos problemas aplicados. Essa última etapa, dá suporte ao processo de recomendação dos componentes heterogêneos.
Figura 8: Extração de meta-características.
Figura 9: Testes para mapeamento.
Meta-aprendizado Tradicional
Nesta abordagem, é realizado o mapeamento entre as metas-características aos melhores mo- delos, levando em consideração apenas o desempenho dos algoritmos que apresentaram menor valor do erro médio, vide Figura 10.
Para implementar o mapeamento referente à arquitetura, são realizados os testes (validação cruzada de 10-folds) com todos as arquiteturas (1 – Bagging, 2 – Boosting e 3 – Multiboosting) formados por todos os tipos homogêneos de componentes base (1 – RBF, 2 – J48, 3 – SMO, 4 – NB e 5 – IBk). É realizada um média geral dos experimentos de todas as arquiteturas. Em seguida é construído um ranking dos erros médios. A arquitetura que apresentar menor valor é selecionada para realizar o mapeamento das meta-característica da base testada. A Figura 11 ilustra esse processo.
Para implementar o mapeamento dos componentes homogêneos, foram executadas valida- ções cruzadas de 10-folds, 10 vezes sobre diferentes seeds de testes. Em seguida é construído um ranking para os tipos homogêneos de componentes base (1 – RBF, 2 – J48, 3 – SMO, 4 –
Figura 10: Mapeamento tradicional.
Figura 11: Mapeamento tradicional para escolha da arquitetura.
NB e 5 – IBk), com base no erro médio da validação cruzada para todos os seeds. O componente que apresentar menor valor é selecionado para realizar o mapeamento. A Figura 12 ilustra esse processo.
Meta-aprendizado Multirrótulo
Esta abordagem, diferentemente da abordagem tradicional, o mapeamento entre as metas- características aos melhores modelos, não é realizada levando-se em consideração apenas os valores de erro médio, mas sim, um teste estatístico que indica se a equivalência entre os desem- penhos podem ou não ser rejeitados. Uma vez que os modelos apresentem resultados estatistica- mente equivalentes, fazemos um mapeamento multirrótulo, vide Figura 13, considerando, desta forma, todas as soluções em potencial. Utilizamos o teste de hipótese t-teste bicaudal pareado, entre o melhor modelos e os demais. Esse teste estatístico tem como objetivo avaliar a equiva- lência entre duas medidas amostrais, supondo independência e normalização das observações – no caso, das taxas de erros (WITTEN; FRANK, 2005).
Figura 13: Mapeamento multirrótulo.
A implementação do processo de mapeamento da arquitetura multirrótulo é semelhante ao processo tradicional até a geração do ranking. Na sequência é calculada o teste de hipótese da melhor arquitetura com todas as demais. No mapeamento multirrótulo, o melhor valor assume valor um, enquanto que as demais, se o teste estatístico apresentar valor maior 0,5, não rejeitamos a hipótese nula H0, então é mapeado o valor um, caso contrário, mapeamos com valor zero, visto
que rejeitamos H0. A Figura 14 ilustra esse processo.
A implementação do processo de mapeamento de componentes homogêneos segue a mesma ideia do citado para arquitetura, tanto no que se refere à construção do ranking quanto do mape- amento multirrótulo. A Figura 15 ilustra o processo.
Figura 14: Mapeamento multirrótulo para escolha da arquitetura.
Figura 15: Mapeamento multirrótulo para escolha dos componentes homogêneos.
citados. Para a escolha dos componentes heterogêneos, é evoluída uma população de indivíduos. Cada indivíduo é uma representação inteira de 10 posições, cujo os alelos podem assumir valores entre [1,5], esse valores por sua vez indicam os tipos de componentes base heterogêneos (1 – RBF, 2 – J48, 3 – SMO, 4 – NB e 5 – IBk). Em seguida, para realização do mapeamento, é informado de forma binária, se o tipo de componente heterogêneo aparece ou não, onde um indica presença e zero a ausência. A Figura 16 ilustra o processo.
Uma vez realizado todos os mapeamentos, os meta-aprendizes são algoritmos de aprendi- zado conhecidos, como: rede neural Multi-layer Perceptron (MLP), máquina de vetores-suporte, árvore de decisão e algoritmo baseado em vizinhança. Nesse processo são criados meta-aprendizes independentes para recomendação de arquitetura, componentes homogêneos ou heterogêneos.
Figura 16: Mapeamento multirrótulo para escolha dos componentes heterogêneos.
Uma vez que se tenha um novo problema de classificação de padrões, todas as meta-características são extraídas, e apresentadas para cada meta-aprendiz treinado para o tipo de recomendação es- pecífica. Esses, por sua vez, farão a recomendação dos melhores parâmetros de controle do ensemblea ser utilizado como o novo problema apresentado. A Figura 17 ilustra o processo de recomendação.
Figura 17: Meta-aprendiz.
3.3 Síntese do Capítulo
Este capítulo permitiu ao leitor entender as novas abordagens aqui apresentada. Foram des- tacadas as contribuições correlatas ao tema. Apresentamos três novas abordagens que são a base da contribuição desta tese. Na sequência apresentamos a nova abordagem de incremento de técnicas de diversidade em ensembles. Posteriormente, apresentamos uma nova abordagem via
Algoritmo Genético para seleção de atributos. E finalmente, apresentamos a abordagem para recomendação dos parâmetros de controle em ensembles para arquitetura e componentes homo- gêneos e heterogêneos.
O próximo Capítulo 4, serão apresentadas as metodologias utilizadas para realização dos experimentos computacionais, bem como, uma análise dos resultados obtidos pelas abordagens aqui mencionadas.
Capítulo 4
Experimentos Computacionais
Este capítulo é dedicado à apresentação dos experimentos computacionais de validação das novas abordagens para construção eficientes de ensembles apresentadas no capítulo anterior. Tais protótipos foram implementados usando linguagem de programação Java, lançando-se mão dos insumos providos pelo framework WEKA (WITTEN; FRANK, 2005).
4.1 Problemas de Classificação
Para fins de validação da proposta, serão conduzidos experimentos sobre 20 problemas de classificação extraídos do repositório UCI (ASUNCIóN; NEWMAN, 2007). A maioria desses problemas também já serviu de alvo de investigação em trabalhos correlatos na linha de Comitês de Classificadores (OPITZ; MACLIN, 1999; DIETTERICH, 2000b; CANUTO et al., 2007). As bases de dados relativas a esses problemas, assim como uma descrição das suas propriedades em termos de número de amostras, número e tipos de atributos, número e distribuição das classes, e existência de atributos faltantes, podem ser encontradas no Apêndice A.
Para cada um dos 20 conjuntos de dados, serão gerados novos 10 conjunto de dados de forma aleatória e estratificado, totalizando 200 novos conjuntos de dados. Esse estratégia foi
adotada na tentativa de se obter um número maior de conjuntos de dados para extração das meta- características, bem como, a realização dos testes das gerações das diferentes configurações de ensemblesvia Bagging, Boosting e MultiBoosting.