SONUÇ

4.2.4.1 Contingência das previsões

As tabelas de contingências são utilizadas para avaliar o quanto um modelo estatístico é capaz de prever corretamente os resultados. Por exemplo, neste trabalho, as análises indicarão se o modelo acerta em dizer que aquele cooperado que fará um novo empréstimo será um cooperado

leal e cumprirá com o compromisso financeiro com a instituição. Dessa forma, as tabelas de contingências contribuem para avaliar se o modelo escolhido é satisfatório.

Para avaliar este acerto na tabela de contingência deve-se utilizar os resultados obtidos no modelo de calibração, pois é possível, a partir dos resultados obtidos (probabilidade de inadimplência do contrato do cliente), cruzar as informações previstas pelo modelo e o que elas realmente são.

A tabela de contingencia cruza as informações reais dos contratos e aquelas previstas pelo modelo. Com a tabela cruzada podemos calcular valores que resumem e avaliam a qualidade de previsão/ acerto do modelo. O ideal seria ter 100% no quadrante de VP, ou seja, o modelo informa que o contrato é confiável quando ele realmente é; e 100% no quadrante VN, ou seja, o modelo informa que o contrato será provavelmente inadimplente quando ele realmente é. Assim, com 100% nestas colunas o modelo encontrado estaria perfeito. A ideia é aproximar o máximo possível do valor 100%, pois, dessa forma, há indicação de que o modelo é eficiente.

Deve-se levar em conta que a simples quantificação de acertos num grupo de teste não necessariamente reflete o quão eficiente um sistema é, pois essa quantificação dependerá, fundamentalmente, da qualidade e distribuição dos dados neste grupo de teste. Para avaliar o poder discriminativo do modelo final, deve-se analisar a tabela de contingência das previsões realizadas. Para o modelo final apresentado, obteve-se o resultado na Tabela 38.

Tabela 38 –Contingência das previsões realizadas para modelo de Calibração

Valor Verdadeiro (Inadimplente) Total Não Sim V al or P re vi st o (In adi m pl ent e) N ão 405 233 638 Si m 195 367 562 600 600 1200

Fonte: Elaborada pela autora

Percebe-se pela Tabela 38 o registro de 233 contratos classificados no erro tipo I, ou seja, o Sicoob Nossacoop classificou, segundo a base de dados apresentada, cooperados inadimplentes

como adimplentes. Por outro lado, 195 contratos considerados adimplentes foram classificados como inadimplentes.

Sendo assim, na Tabela 39, são apresentados os resultados das medidas do modelo ajustado. De maneira geral, o modelo apresenta ótima capacidade de predição e a medida Eficiência Geral (64,3%) indica um equilíbrio entre as medidas de Sensibilidade (67,5%) e Especificidade (61,2%).

Tabela 39 –Resultados das medidas do modelo ajustado de Calibração

Medida Valor Acurácia 64,3% Sensibilidade 67,5% Especificidade 61,2% Preditividade Positiva 63,5% Preditividade Negativa 65,3% Eficiência Geral 64,3%

Fonte: Elaborada pela autora

Percebe-se que a política de crédito baseada nos 5c´s do crédito, utilizada pelos gestores do Sicoob Nossacoop, gerou decisões errôneas em suas liberações, reforçando, ainda mais, a necessidade da utilização de um modelo que contribua para melhor avaliação do risco.

4.2.4.2 Curva ROC

Para avaliar a qualidade de discriminação do modelo, também podemos examinar essa qualidade por meio da curva de sensitividade e especificidade Receiver Operating

Characteristic (ROC). Isto significa que, a partir da aplicação da curva, é possível validar o

modelo de risco de crédito medindo a assertividade do mesmo.

É necessário definir um ponto de corte, ou um limiar de decisão, para se classificar e contabilizar o número de predições positivas e negativas. Como este ponto de corte pode ser selecionado arbitrariamente, a melhor prática para se comparar o desempenho de diversos modelos é estudar o efeito de seleção de diversos pontos de corte sobre a saída dos dados.

Para cada ponto de corte, são calculados valores de sensibilidade e especificidade, que podem, então, ser dispostos em um gráfico denominado curva ROC, que apresenta no eixo das

ordenadas os valores de sensibilidade e, nas abscissas, o complemento da especificidade, ou seja, o valor (1-especificidade).

Na prática, curvas ROC consideradas boas estarão entre a linha diagonal e a linha perfeita, onde quanto maior a distância da linha diagonal, melhor o modelo. Hormer e Lemeshow (2000, p160) sugeriram alguns pontos de cortes e a interpretação dos mesmos para avaliação das curvas ROC, conforme Tabela 40.

Tabela 40 – Descrição do ponto de corte pela Curva ROC

Ponto de Corte Descrição

ROC = 0,5 Sugere sem poder discriminante 0,7 ≤ ROC < 0,8 Aceitável poder discriminante 0,8 ≤ ROC < 0,9 Excelente poder discriminante ROC ≥ 0,9 Excepcional poder discriminante Fonte: Hormer e Lemeshow (2000, p160).

Alguns pontos são importantes para melhor compreensão do gráfico da FIG. 24. Por se tratar de um plano cartesiano, as análises ocorrem em função do ponto de encontro dos resultados de especificidade e sensibilidade. O ponto (0,1), dessa forma, sugere que o índice de falsos negativos é zero e que o índice de sensibilidade atinge seu ponto máximo, representando uma classificação perfeita.

Figura 25 – Gráfico da Curva ROC

De maneira geral, um ponto, no espaço ROC, é melhor que outro se ele estiver mais à noroeste. Os classificadores no lado esquerdo da Curva ROC (perto do eixo Y) são ditos conservadores, pois fazem classificações positivas somente com uma evidência forte, portanto cometem poucos erros de falsos positivos. Já os classificadores no lado direito são ditos liberais, pois fazem classificações positivas com pouca evidência, mas, por outro lado comentem muitos erros de falsos positivos (SILVA, 2006).

Avaliando a curva ROC para o modelo empregado, verifica-se que a área sob a curva corresponde ao valor de 0,7, demonstrando um aceitável poder de discriminação.

Tabela 41 –Resultados Curva ROC

Ponte de corte Desvio-padrão Sig. _{Limite Inferior} Intervalo de confiança (95%) _{Limite Superior}

0,7 0,02 0,00 0,65 0,71

Fonte: Elaborada pela autora

Ao analisar o intervalo de confiança para o verdadeiro valor do ponto de corte, apresentado pela Tabela 41, é possível observar que o mesmo está entre os valores de 0,65 e 0,71 ao nível de 95% de confiança, ou seja, tem-se indícios significativos de que o verdadeiro valor do ponto de corte está entre os valores citado acima e ainda assim, nos leva a uma conclusão positiva sobre o modelo escolhido.

4.2.4.3 Teste de Kolmogorov-Simirnov – KS

A Tabela 42 está apresentando os intervalos das probabilidades bem como a diferença entre as duas amostras. Na coluna “Estatística KS, estão dispostas as diferenças entre as proporções acumuladas das duas amostras em cada um dos intervalos.

Tabela 42 –Resultados Teste de Kolmogorov-Simirnov – KS

Faixa de Probabilidade dos Cooperados

Cooperado

Inadimplente? Proporção Acumulada Estatística KS Cliente Inadimplente?

Não Sim Não Sim

De 0 até 5% 0 0 100% 100% 0% De 5% até 10% 0 0 100% 100% 0% De 10% até 15% 0 0 100% 100% 0% De 15% até 20% 11 2 100% 100% 0% De 20% até 25% 8 4 98% 100% 2% De 25% até 30% 49 27 97% 99% 2% De 30% até 35% 60 39 89% 95% 6% De 35% até 40% 102 39 79% 88% 9% De 40% até 45% 114 73 62% 82% 20% De 45% até 50% 61 49 43% 69% 27% De 50% até 55% 65 90 33% 61% 29% De 55% até 60% 34 66 22% 46% 25% De 60% até 65% 46 51 16% 35% 19% De 65% até 70% 19 32 8% 27% 18% De 70% até 75% 7 23 5% 21% 16% De 75% até 80% 19 77 4% 18% 14% De 80% até 85% 4 19 1% 5% 4% De 85% até 90% 1 9 0% 1% 1% De 90% até 95% 0 0 0% 0% 0% De 95% até 100% 0 0 0% 0% 0% TOTAL 600 600

Fonte: Elaborada pela autora

É considerado um bom modelo aquele que possuir o maior valor da estatística de KS, pois este resultado indica separação maior entre clientes inadimplentes e adimplentes. A Tabela 43 estabelece os níveis de discriminação para interpretação e avaliação da estatística do teste de KS.

Tabela 43 –Nível de discriminação pelo Teste de Kolmogorov-Simirnov – KS

Valores de KS Nível de Discriminação Abaixo de 20% Baixa discriminação De 20% a 30% Discriminação aceitável De 30% a 40% Boa discriminação De 40% a 50% Excelente discriminação Acima de 50% Discriminação excepcional Fonte: Elaborada pela autora

De acordo com os resultados, o modelo escolhido apresentou uma estatística de KS de 29%, ou seja, apresenta uma discriminação aceitável aproximada de uma boa discriminação.