ÇALIŞMA GRUBU
TOPLUMSAL CİNSİYET EŞİTLİĞİ ÇALIŞMA GRUBU
Após o pré-processamento, deu-se início aos treinos e testes com o corpus composto pelos clusters C1, C31 e C37. Para tanto, realizaram-se 3 rodadas de treino/teste. Em cada rodada, utilizou-se uma combinação distinta de 2 clusters para treino e 1 cluster para teste, a saber: (a) treino com C1+C31 e teste em C37; (b)treino com C1+C37 e teste em C31 e (c) treino com C31+C37 e teste em C1.
Nas 3 rodadas, os treinamentos foram feitos por meio da opção do Weka “Use Training Set” e os testes foram feitos por meio da opção “Supplied Test Set”. Além disso, ressalta-se que não foi feita a “seleção de atributos” clássica do Weka tendo em vista que esta foi feita, de certa forma, quando da investigação da pertinência das medidas (Seção 5.3), que resultou na exclusão da métrica Centrality desta fase do trabalho. Assim, nas 3 rodadas de treino e teste, utilizaram-se as 4 medidas tidas como pertinentes (Simple Frequency, Cumulative Frequency, Closeness e Level).
a) Treino com C1 e C31 e teste em C37
Nas primeiras investigações com os algoritmos simbólicos, os valores mais altos de precisão foram obtidos pelos algoritmos Non-Nested Generalized Exemplars (NNGe) (89%), que trabalha com regras “se-então”, Decision Table/Naïve Bayes (DTNB) (77%) algoritmo híbrido que divide os atributos em 2 subconjuntos disjuntos, Prism (75%), e
100 JRip (68%), os quais geraram conjuntos relativamente extensos de regras, com exceção de JRip e DTNB, que geraram apenas 3 e 1 regras, respectivamente. O algoritmo PART foi o que apresentou a melhor combinação dos critérios precisão e número de regras. No caso, ele obteve precisão relativamente alta de 77% e produziu um conjunto de 11 regras, o que é computacionalmente tratável (Tabela 14).
Tabela 14 - Regras obtidas pelo PART a partir do treino em C1 e C31.
Regra Acerto/Erro Precisão
1. Se Cumulative Frequency = -inf-0.1 e Closeness = 0.2-0.3 e Simple Frequency = 0.1-0.2, então “não”
2. Senão Cumulative Frequency = -inf-0.1 e Closeness = 0.3-0.4, então “sim” 3. Senão Cumulative Frequency = 0.1-0.2, então “sim”
4. Senão Closeness = 0.5-0.6, então “sim”
5. Senão Cumulative Frequency = -inf-0.1 e Closeness = 0.2-0.3 e Simple Frequency = 0.4-0.5, então “sim”
6. Senão Cumulative Frequency = -inf-0.1 e Closeness = 0.2-0.3, então “não” 7. Senão Cumulative Frequency = -inf-0.1 e Closeness = 0.1-0.2 e Level = 0.5-0.6, então “não”
8. Senão Closeness = 0.6-0.7, então “sim”
9. Senão Cumulative Frequency = -inf-0.1e Closeness = -inf-0.1, então “não” 10. Senão Cumulative Frequency = -inf-0.1 e Level = 0.7-0.8, então “sim” 11. Senão “sim" (15.0/2.0) (14.0/6.0) (12.0/1.0) (6.0/2.0) (4.0/0.0) (5.0/1.0) (4.0/1.0) (5.0/0.0) (3.0/0.0) (3.0/1.0) (16.0/6.0) 86,7% 57,1% 91,7% 66,7% 100% 80% 75% 100% 100% 66,7% 62,5% Com base na análise da matriz de confusão gerada pelo PART (Tabela 15), nota-se que o algoritmo classifica corretamente as instâncias da classe “Sim” com precisão relativamente alta, de 87%, as da classe “Não” com precisão de 65,9%.
Tabela 15 - Matriz de confusão do PART a partir do treino em C1 e C31. Classe
Teste (Ocorrência no sumário) Sim (46) (Não-ocorrência no sumário) Não (41)
Sim 40 (87%) 6 (15%)
Não 14 (34,1%) 27(65,9%)
A acurácia das regras aplicadas ao cluster C37 foi de 51%, ou seja, o PART acerta um pouco mais da metade dos casos “Sim” (54%) e exatamente a metade dos casos “Não” (50%), o que pode ser visto na matriz de confusão da Tabela 16.
101 Tabela 16 - Matriz de confusão do PART a partir do teste em C37.
Classe
Teste (Ocorrência no sumário) Sim (50) (Não-ocorrência no sumário) Não (52)
Sim 27 (54%) 23 (46%)
Não 26 (50%) 26 (50%)
Aplicação do algoritmo PART:10-fold cross –validation
A aplicação da técnica 10-fold cross-validation para o algoritmo PART gerou as mesmas 11 regras do conjunto de treino com precisão geral de 60%. Com base na matriz de confusão, observa-se que o algoritmo classificou corretamente 67,4% dos casos da classe “Sim” e 53,6% dos casos da classe “Não” (Tabela 17).
Tabela 17 - Matriz de confusão do PART com 10-fold cross-validation para C1 e C31. Classe
Teste (Ocorrência no sumário) Sim (46) (Não-ocorrência no sumário) Não (41)
Sim 31 (67,4%) 15 (32,6%)
Não 19 (46,3%) 22 (53,6%)
b) Treino com C1 e C37 e teste em C31 e validação cruzada
O segundo treinamento realizado se deu com os clusters C1 e C37. Dos algoritmos simbólicos, os que obtiveram as melhores acurácias foram: NNGe (80%), Prism (72%) e PART (61%). O NNGe e o Prism geraram conjuntos de regras muito extensos. Em compensação, o PART gerou um conjunto de 6 regras, as quais estão na Tabela 18.
Tabela 18 - Regras obtidas pelo PART a partir do treino em C1 e C37.
Regra Acerto/Erro Precisão
1. Se Simple Frequency = 0.2-0.3, então “sim” 2. Senão Simple Frequency = 0.3-0.4, então “sim” 3. Senão Level = 0.5-0.6, então “não”
4. Senão Closeness = 0.5-0.6, então “sim” 5. Senão Level = 0.4-0.5, então “sim” 6. Senão “não” (7.0/2.0) (6.0/0.0) (36.0/12.0) (6.0/0.0) (19.0/8.0) (76.0/36.0) 71,4% 100% 66,7% 100% 57,9% 52,6%
A partir da matriz de confusão do PART (Tabela 19), observa-se que o algoritmo classifica corretamente 36,8% dos casos de “Sim” e 86,5% dos casos de “Não”.
102 Tabela 19 - Matriz de confusão do PART a partir do treino em C1 e C37.
Classe
Teste (Ocorrência no sumário) Sim (76) (Não-ocorrência no sumário) Não (74)
Sim 28 (36,8%) 48 (63,2%)
Não 10 (13,5%) 64 (86,5%)
A aplicação das regras em C31 alcançou a marca dos 56% de precisão, o que também pode ser observado na matriz de confusão (Tabela 20), pois o algoritmo erra e acerta praticamente a metade dos casos da classe “Sim” e dos casos da classe “Não”.
Tabela 20 - Matriz de confusão do PART a partir do teste em C31. Classe
Teste (Ocorrência no sumário) Sim (20) (Não-ocorrência no sumário) Não (19)
Sim 11 (55%) 9 (45%)
Não 8 (42,1%) 11 (57,9%)
Aplicação do algoritmo PART:10-fold cross –validation
Para o conjunto de treino C1 e C31, o algoritmo de validação cruzada (10-fold) também gerou as mesmas 6 regras com 58% de precisão. No caso, o algoritmo classificou corretamente 42,1% dos casos da classe “Sim” e 72,3% dos casos da classe “Não”(Tabela 21).
Tabela 21 - Matriz de confusão do PART com 10-fold cross-validation para C1 e C37. Classe
Teste (Ocorrência no sumário) Sim (76) (Não-ocorrência no sumário) Não (74)
Sim 32 (42,1%) 44 (58%)
Não 19 (25,7%) 55 (72,3%)
c) Treino com C31 e C37 e teste em C1
O último treinamento foi feito com os clusters C31 e C37. Os algoritmos simbólicos que apresentaram as melhores acurácias foram: NNGe (73%), DNTB (64%), Prism (63%) e PART (63%). Os algoritmos NNGe e Prism geraram um conjunto muito extenso de regras, o DTNB gerou apenas uma regra e o PART gerou 7 regras. Os resultados com o PART são apresentados na Tabela 22.
103 Tabela 22 - Regras obtidas pelo PART a partir do treino em C31 e C37.
Regra Acerto/Erro Precisão
1. Se Simple Frequency = 0.9-inf, então “sim”
2. Senão Simple Frequency = 0.4-0.5 e Level = 0.5-0.6, então “sim” 3. Senão Simple Frequency = 0.1-0.2, então “não”
4. Senão Simple Frequency = -inf-0.1 e Level = 0.6-0.7 , então “não” 5. Senão Simple Frequency = -inf-0.1 e Closeness = 0.1-0.2, então “não” 6. Senão Level = 0.7-0.8 e Closeness = 0.4-0.5, então “sim”
7. Senão “sim” (4.0/0.0) (3.0/0.0) (31.0/12.0) (29.0/11.0) (23.0/9.0) (7.0/2.0) (44.0/18.0) 100% 100% 61,3% 62,1% 60,9% 71,4% 59,1%
Pela matriz de confusão gerada pelo PART para C31 e C37 (Tabela 23), observa-se que o algoritmo acerta mais de 70% dos casos da classe “Não” e acerta um pouco mais da metade dos casos da classe “Sim”.
Tabela 23 - Matriz de confusão do PART a partir do treino em C31 e C37. Classe
Teste (Ocorrência no sumário) Sim (70) (Não-ocorrência no sumário) Não (71)
Sim 38 (54,3%) 32 (45,7%)
Não 20 (28,2%) 51 (71,8%)
O último teste realizado foi a aplicação das regras apreendidas com base nos clusters C31 e C37 ao cluster C1. Tal teste, realizado com o algoritmo PART, atingiu 58% de precisão com as mesmas 7 regras do conjunto de treinamento. Pela matriz de confusão apresentada na Tabela 24, observa-se que o PART testado em C1 acertou 61,5% dos casos da classe “Sim” e 54,5% dos casos da classe “Não”, ou seja, ele consegue acertar pouco mais da metade dos casos para todo o conjuntos de teste.
Tabela 24 - Matriz de confusão do PART a partir do teste em C1. Classe
Teste (Ocorrência no sumário) Sim (26) (Não-ocorrência no sumário) Não (22)
Sim 16 (61,5%) 10 (38,5%)
Não 10 (45,5%) 12 (54,5%)
Aplicação do algoritmo PART:10-fold cross –validation
A validação cruzada, para o conjunto de treino C31 e C37 classificou os atributos “Sim” e “Não” com 58% de acurácia também, e gerou as mesmas 7 regras. Na tabela 25
104 observa-se que o algoritmo classificou corretamente 47,1% dos casos da classe “Sim” e boa parte dos casos da classe “Não” (69%).
Tabela 25 - Matriz de confusão do PART com 10-fold cross-validation para C31 e C37. Classe
Teste (Ocorrência no sumário) Sim (70) (Não-ocorrência no sumário) Não (71)
Sim 33 (47,1%) 37 (52,8%)
Não 22 (31%) 49 (69%)
Diante dos resultados apresentados pelos grupos de treinamento/teste, julgou-se o melhor conjunto de regras para a detecção dos conceitos relevantes com base na acurácia e no número de regras para a construção dos sumários.
Os resultados apresentados em (a) atestaram que o treinamento do algoritmo PART obteve a mais alta precisão (77%) em relação aos outros treinamentos, e além disso, o PART aprendeu pelo menos 51% das regras testadas para o cluster C37.
Sendo assim, em comparação aos cenários (b) e (c), pode-se dizer que os melhores resultados foram obtidos no cenário (a) e, por isso, o conjunto de regras desse cenário foi o escolhido para ser utilizado para ranquear e pontuar as sentenças em um dos métodos de SAM. A seguir, apresentam-se os métodos de SAM extrativos cujas abordagens de seleção de conteúdo baseiam-se em medidas de grafo.