Como mencionado anteriormente, para realizar os experimentos neste trabalho foram es- colhidos três conjuntos de dados, o primeiro apresentando características da classificação
4. Metodologia dos Experimentos 60 estrutural das proteínas, o segundo apresenta características de amostras de partículas de um determinado vírus e o terceiro apresenta imagens digitalizadas da massa do seio e descrevem as características do núcleo celular presente na imagem. Considerando os conjuntos de dados descritos anteriormente (Seção 4.1.1, 4.1.2 e 4.1.3, respectivamente) os seguintes experimentos foram implementados:
• Foram executados cinco algoritmos de aprendizado supervisionado, com cinco con- figurações diferentes (as configurações podem se vistas no Apêndice A). Esses al- goritmos foram executados tanto individualmente como também sendo algoritmos base para os SMC. Dessa forma, é possível realizar uma comparação entre os re- sultados obtidos pelos SMC’s com os resultados dos algoritmos que compõem este sistema executados individualmente. Esses algoritmos de aprendizado supervisio- nado foram: Árvore de decisão (AD, utilizando o algoritmo J48), K-Vizinhos Mais Próximos (K-NN), Naive Bayes (NB), Máquinas de Vetores Suporte (SVM, utili- zando um método de otimização quadrática, SMO, com kernel polinomial) e Re- des Neurais artificiais do tipo Multi-Layer Perceptron com backpropagation (MLP) (para maiores detalhes sobre estes algoritmos consultar o Capítulo 2).
• Foram executados algoritmos de multi-classificação de tamanho igual a um (1), ou seja, com apenas um algoritmo base. Cada algoritmo de multi-classificação foi executado com uma das configurações para os algoritmos base, os algoritmos multi- classificadores de tamanho um foram o Bagging e o Boosting (mais precisamente, o AdaBoosting). Dessa forma, esses algoritmos multi-classificadores apresentam características de SMC’s homogêneos.
• Ainda foram executados algoritmos de multi-classificação de tamanho igual a cinco (5), ou seja, com cinco algoritmos base. Cada algoritmo de multi-classificação foi executado com as cinco configurações diferentes para cada tipo de algoritmo base, e esses algoritmos foram: Stacking e StackingC. Com a utilização de algoritmos base de mesmo tipo, apenas modificando seus parâmetros, é apresentado características de SMC’s homogêneos.
• Os algoritmos Stacking e StackingC também foram executados com os tamanhos cinco (5), dez (10) e quinze (15), utilizando diferentes tipos de algoritmos base, caracterizando, assim, algoritmos multi-classificadores heterogêneos.
Nos experimentos realizados, cada algoritmo de AM foi aplicado às diferentes parti- ções obtidas com a utilização da metodologia de 10-fold cross validation. Dessa forma, cada algoritmo de AM foi treinado dez vezes, e cada vez foi utilizado um conjunto de dados diferente para este treinamento.
4. Metodologia dos Experimentos 61 Como ferramenta computacional, foi utilizada uma modificação do software Weka 3.4 (este disponível em http://www.cs.waikato.ac.nz/~ml/). Essa ferramenta
possui uma coleção de algoritmos de AM direcionada aos diversos campos do estudo de AM, contendo algoritmos para a classificação e para o agrupamento (Witten and Frank, 1999). A modificação realizada foi visando a obtenção de informações importantes, sendo estas salvas em arquivos e formatos que contemplavam as necessidades deste trabalho. Essas informações são os valores das saídas que os algoritmos fornecem para cada padrão do conjunto e também a classificação prevista por aquele classificador para cada padrão do conjunto de dados.
Além do software Weka, também foi utilizado o software Matlab 7.1 Release 14, para realizar as implementações das técnicas de combinação, calcular os pesos de cada classificador e também para a realização dos testes de comparações entre os resultados obtidos pelos classificadores, como o teste de hipótese e o da diversidade.
No software Matlab foram implementadas três metodologias de combinação linear: soma (onde é feito um somatório das saídas obtidas por cada classificador para cada classe, e a classe que obtiver o maior valor será a classe selecionada), média geomé- trica (onde é realizada uma multiplicação a partir dos valores das saídas obtidas por cada classificador para cada classe, e a classe com o valor mais alta é selecionada como a classe vencedora) e votação (onde são selecionadas as classes determinadas por cada classifica- dor base, e então é feito uma contagem, para saber qual foi a classe que obteve o maior número de votos, sendo esta classe a determinada para o padrão).
Também nesse software foram implementadas técnicas para utilizar as saídas forneci- das pelos classificadores para calcular os pesos de cada classificador. Como mencionado anteriormente, esse cálculo foi feito visando à utilização desses pesos como forma de ten- tar melhorar o desempenho dos SMC’s e verificar se há alguma relação entre o uso dos pesos com a diversidade obtida pelos SMC’s. Foram implementadas metodologias para se calcular os pesos tanto estáticos quanto dinâmicos. As técnicas de pesos estáticos foram denominadas IR (Intensidade de Reconhecimento) e MD (Média das Demais), e as téc- nicas dinâmicas foram denominadas de DistM (utilizando a Distância de Mahalanobis),
DistE (utilizando a Distância Euclidiana) e RP (utilizando a metodologia de Recompensa
ou Punição).
Cada algoritmo de AM utilizado neste trabalho apresenta parâmetros que devem ter seus valores assinalados antes de suas execuções. Sendo assim, os valores assinalados foram escolhidos de acordo com o conhecimento a priori que há em relação à esses algo- ritmos. Cada configuração executada individualmente também foi executada como clas- sificador base nos algoritmos multi-classificadores. Ambos os algoritmos de tamanho um (Bagging e Boosting) foram executados com o seu parâmetro "numIterations" recebendo
4. Metodologia dos Experimentos 62 o valor igual a dez (10) e cem (100) para cada configuração dos algoritmos base.
Os experimentos utilizando os algoritmos de multi-classificação implementados neste trabalho receberam uma nomenclatura para facilitar seu entendimento de acordo com o tipo de algoritmo multi-classificador (homogêneo ou heterogêneo). Dessa forma, os algo- ritmos homogêneo Bagging e Boosting foram denominados de acordo com a quantidade de iterações e o tipo de algoritmo utilizado, já para os algoritmos Stacking e StackingC, como não há número de iteração o número apresentado na frente da nomenclatura será a quantidade de algoritmos base e no final será o tipo de algoritmo. Por exemplo, a execu- ção do algoritmo Bagging com dez iterações será denominado como ’10-Homo-B’, sendo o número ’10’ a quantidade de iterações, ’Homo’ demonstra que é um algoritmo homo- gêneo e a letra ’B’ descreve que foi utilizado o algoritmo Bagging. Já no do algoritmo
Adaboost, o nome será representado pela letra ’A’. Para uma execução dos algoritmos Stacking e StackingC, onde estas execuções serão representadas por exemplo: ’5-Homo-
S’, onde o valor 5 é a quantidade de algoritmos base, ’Homo’ descreve que esta execução apresenta apenas algoritmos de mesmo tipo, e a letra ’S’ representa que é o algoritmo
Stacking. Já para o StackingC a letra ’S’ é substituida pelas letras ’SC’.
Para os algoritmos heterogêneos o número inicial determina o tamanho do SMC (quantidade de algoritmos base) que foi utilizado para aquele experimento, e a quanti- dade de tipos diferentes de algoritmos de AM que foram utilizados como classificadores base é apresentado no final da nomenclatura. Por exemplo, uma execução do algoritmo
Stacking com cinco algoritmos base sendo três configurações do algoritmo AD e duas do
algoritmo MLP, será representado como ’5-Hete-2’, onde o número ’5’ é a quantidade de algoritmos base, ou seja, seu tamanho, a palavra ’Hete’ descreve que é um algorit- mos heterogêneo e o número ’2’ descreve que foram utilizados dois tipos de algoritmos diferentes.
Resumidamente, todas as configurações para os algoritmos base que são apresentadas no Apêndice A Tabela A.1, utilizando os algoritmos de multi-classificação, foram trei- nados utilizando a metodologia de amostragem 10-fold cross validation (detalhes Seção 4.2.1). Dessa forma, foi considerada a média da taxa de classificação correta (taxa de acurácia) de cada tipo de algoritmo de AM, sendo esta utilizada para realizar as compa- rações estatísticas, utilizando o teste de hipótese com o nível de significância igual a 0,05 (detalhes Seção 4.2.2). Além disso, também foram executadas técnicas para se calcular a diversidade obtida entre os resultados dos experimentos utilizando os SMC’s (detalhes Seção 4.4) para verificar se há influência da diversidade no desempenho destes sistemas.
4. Metodologia dos Experimentos 63