Como dito no capítulo 2, utilizaram-se 730 séries da BOVESPA entre os anos de 1986 e 2005 para treinar os quatro modelos de classificação de pontos de reversão. Como conjunto de validação a ser fornecido para o JSV Mlitc selecionaram-se algumas séries de 2006, são elas: CGAS5, CMIG3, CMIG4, CPFE3, CPLE6, CPSL3, CRUZ3, CSAN3, CSMG3, CSNA3, CTNM4, CYRE3, DASA3, DURA4, ENBR3, GETI3, GETI4, GFSA3, GGBR3,GGBR4, GOAU3,
GOAU4, GUAR3, LREN3, PCAR4, PMAM4, SUBA3, TAMM4, VALE3, VALE5. Com base na performance de cada modelo treinado, com as séries descritas acima, selecionaram-se os modelos que seriam utilizados na fase de testes.
Trata-se, claramente, de um problema de classificação altamente desbalan- ceado - como citado anteriormente -, em que o número de exemplos da classe positiva (pontos de reversão) é significativamente menor. Ao variar o peso do erro de um exemplo positivo no treinamento, varia-se também o número de classes positivas geradas, como resposta e, consequentemente, compromete- se a confiabilidade do sistema. Seis pares de modelos - compra/venda - foram gerados. O modelo 1 é aquele a cujo peso de exemplos positivos foi dado o me- nor valor, ou seja, menos sinais de reversão foram gerados; em contrapartida, esses sinais eram mais confiáveis. O modelo 6, por sua vez, tem o maior peso para exemplos da classe positiva, gerando mais sinais de compra e venda, com a desvantagem de serem sinais menos confiáveis - com maior número de falsos positivos. Os outros 4 são modelos intermediários a esses dois.
Para cada valor de peso do erro causado por uma amostra positiva no trei- namento, variaram-se os valores de C, sempre utilizando como função de ker- nel a RBF. A partir disso, selecionou-se o melhor valor de C para aquele valor de peso, baseado nos resultados apresentados pelos modelos com o conjunto de validação. Os pontos na curva ROC dos melhores modelos, gerados para compra/venda da abordagem supervisionada e compra/venda da abordagem semi-supervisionada, podem ser conferidos nas figuras 3.19 e 3.20, respecti- vamente.
Uma observação sobre a curva ROC de todos os modelos - tanto supervi- sionado quanto dos semi-supervisionados, é que os pontos dúbios, que foram enquadrados como pertencentes ao conjunto de trabalho, não foram conside- rados no cálculo da especificidade e sensibilidade. Isso torna as curvas ROC apenas uma aproximação do que seria, caso os pontos fossem todos rotula- dos e houvesse garantias quanto a confiabilidade do conjunto. Dessa forma, não se tem nenhuma informação quanto ao desempenho das abordagens com relação aos pontos dúbios; só se saberá sobre o seu desempenho, quando os modelos se sujeitarem a testes de investimentos, tema de discussão do pró- ximo capítulo.
Os seis modelos de compra foram escolhidos em cada uma das abordagens de aprendizado, nas faixas onde a taxa de falso positivo fosse aceitável. Nos modelos de compra da abordagem supervisionada (figura 3.19) os modelos 1 e 2 foram desconsiderados, pois o número de sinais de compra gerados não era suficiente para gerar lucro considerável, assim, como os três últimos modelos da abordagem semi-supervisionada (figura 3.20). Nesse caso, o número de
Figura 3.19: Curva ROC da abordagem supervisionada dos modelos de com- pra, primeira; e venda, segunda
falsos positivos foi considerado alto e, por isso, o número de negócios com prejuízos seria, também, alto, diminuindo a margem de lucro do modelo.
Para os modelos de compra, selecionaram-se então, para comparação, pon- tos que tinham posição mais próxima possível na curva ROC. Os modelos selecionados estão listados nas tabelas 3.1 e 3.2.
Tabela 3.1: Modelos da abordagem supervisionada selecionados para testes
Modelo1 Modelo2 Modelo3 Modelo4 Modelo5 Modelo6
Distância 0.25 0.35 0.38 0.40 0.39 0.37
Especificidade(%) 93.9 87.9 82.6 76.1 71.2 65.7
Sensibilidade(%) 41.7 62.0 71.6 81.2 84.4 86.6
A linha distância nas tabelas 3.1 e 3.2 indica a distância daquele modelo com relação a reta Sensibilidade = 1 − Especificidade. Quanto maior esta dis- tância, mais próximo o modelo estará do canto superior esquerdo do gráfico
Figura 3.20: Curva ROC da abordagem semi-supervisionada dos modelos de compra, primeira; e venda, segunda
ROC e, consequentemente, melhor será o seu desempenho.
Os modelos de venda foram selecionados de forma análoga, com a diferença que selecionou-se apenas um modelo por abordagem. Adotou-se esta estraté- gia pela própria característica de investimento do sistema: compra-se quando o sistema detecta um padrão de candlestick. Um fato comum, principalmente para os modelos que apresentam baixa taxa de verdadeiros positivos (verificar figuras 3.19 e 3.20 para mais detalhes), é que várias tendências de alta terciá- ria são perdidas; isso não afeta, no entanto, o desempenho do sistema, desde que ele seja capaz de detectar tendências de alta em número suficiente para obter lucros. Por outro lado, ao entrar em uma tendência de alta, a detecção do momento de reversão para a tendência de baixa torna-se primordial, pois todo o lucro obtido pode ser perdido, caso ela não seja detectada. Por esse motivo, o modelo de venda foi fixo para as duas abordagens, e os modelos
Tabela 3.2: Modelos da abordagem semi-supervisionada selecionados para testes
Modelo1 Modelo2 Modelo3 Modelo4 Modelo5 Modelo6
Distância 0.24 0.33 0.36 0.40 0.38 0.36
Especificidade(%) 94.0 88.6 84.2 75.2 69.9 65.2
Sensibilidade(%) 40.6 58.8 67.9 81.8 84.4 86.6
selecionados possuiam alta taxa de verdadeiro positivo - mesmo que isso im- plicasse em uma alta taxa de falsos positivos - pois é preferível sair antes do final da tendência de alta com algum lucro, a tentar ficar até o final, mas com grandes chances de ficar sem lucro. As matrizes de confusão dos dois modelos são apresentadas nas tabelas 3.3 e 3.4.
Tabela 3.3: Matriz de confusão do modelo de venda selecionado, abordagem supervisionada
Positivo Predito Negativo Predito
Verdeiro Positivo 177 48
Verdadeiro Negativo 323 1139
Tabela 3.4: Matriz de confusão do modelo de venda selecionado, abordagem semi-supervisionada
Positivo Predito Negativo Predito
Verdeiro Positivo 177 48
Verdadeiro Negativo 323 1139