Dîvânü Lügati’t Türk

Usados muitas vezes como sinônimos para o processo de extração de informações a partir de dados, os termos Data Mining (DM), Knowledge Discovery (KD), e Knowledge Discovery in Databases (KDD) na realidade se referem a partes diferentes de um processo mais amplo.

A expressão Knowledge Discovery se refere a um processo amplo que busca conhecimento sobre um domínio de aplicação. Ele consiste em diversas etapas (uma delas sendo o Data Mining), cada uma com o objetivo de completar uma tarefa

particular de descoberta e sendo alcançado através de um método de descoberta (KLOSGEN; ZYTKOW, 1996). Knowledge Discovery in Databases é a aplicação deste processo a bases de dados, (KLOSGEN; ZYTKOW, 1996) enquanto Data Mining se refere apenas à etapa do processo em que se utiliza a aplicação de algoritmos específicos para extrair padrões dos dados (FAYYAD et al.,1996).

Neste contexto, o termo Knowledge Discovery and Data Mining vem sendo proposto como uma alternativa mais abrangente e adequada para se referir ao processo geral da aplicação do Knowledge Discovery a qualquer fonte de dados (CIOS; KURGAN, 2005). Fayyad et al. (1996) apresentaram um primeiro modelo para o processo de KDDM constituído por uma sequência de nove etapas, enfatizando a importância de que o produto final apresente um significado útil para o usuário e a natureza iterativa do processo podendo-se retornar a qualquer etapa anterior para retrabalho. A sequência proposta consiste em:

1) Desenvolver uma compreensão do domínio da aplicação e do conhecimento prévio relevante e identificar o objetivo do processo de KDDM.

2) Determinar um conjunto de dados alvo: selecionar um grupo de dados ou um subconjunto de variáveis ou amostras de dados onde a descoberta será executada.

3) Limpeza de dados e pré-processamento: operações básicas como a remoção de ruído e decisão sobre estratégias para tratamento de dados ausentes.

4) Redução de dados e projeções: buscar métodos de transformação ou redução de dimensionalidade para diminuir o número de variáveis de análise.

5) Adequar objetivos do processo KDDM definidos na etapa 1 ao método de Data Mining específicos: por exemplo, sumariação, classificação, regressão, clustering.

6) Escolher os algoritmos de mineração de dados: a seleção de Método(s) a ser usado para procurar por padrões de dados.

7) Data Mining: aplicação dos algoritmos de Data Mining.

8) Interpretar os padrões encontrados, possivelmente retornando a qualquer um dos passos 1 a 7 para mais iterações. Esta etapa também pode envolver a visualização dos padrões ou modelos extraídos.

9) Consolidação da descoberta de conhecimento: incorporando este conhecimento em outro sistema para novas ações, ou simplesmente documentando-o e informando às partes interessadas. Isso também inclui verificar e resolver conflitos potenciais com conhecimento anterior.

Kurgan e Musilek (2006) afirmam que a partir deste modelo inicial os esforços de investigação se concentraram em propor novos modelos, ao invés de melhorar a concepção de um modelo único. Eles realizam uma comparação entre os principais modelos existentes e apresentam um modelo genérico simplificado constituído por seis etapas:

1) Compreensão do domínio da aplicação; 2) Compreensão dos dados;

3) Preparação dos dados e identificação da tecnologia de Data Mining; 4) Data Mining;

5) Avaliação do conhecimento descoberto;

6) Consolidação e uso do conhecimento descoberto.

Os objetivos de descoberta de conhecimento são definidos de acordo com a utilização prevista do sistema, podendo-se distinguir dois tipos de objetivos: “Verificação”, onde o sistema limita-se a verificar a hipótese do usuário, e a “Descoberta”, onde o sistema encontra novos padrões de forma autônoma. O objetivo de “Descoberta” pode ainda ser subdividido em “Previsão”, onde o sistema encontra padrões com o objetivo de prever o comportamento futuro; e “Descrição”, onde o sistema encontra padrões de forma a apresentá-los ao usuário de uma forma compreensível para os seres humanos (FAYYAD et al.,1996).

Os métodos utilizados no processo de alcançar os objetivos de “Descoberta” incluem:  Classificação: aprender uma função que classifica um item de dados em uma de

várias classes pré-definidas.

 Regressão: aprender uma função que mapeia um item de dados para uma variável de previsão de valores reais e a descoberta de relações funcionais entre variáveis.

 Clustering: identificação de um conjunto finito de categorias ou clusters para descrever os dados.

 Sumariação: encontrar uma descrição compacta para um subconjunto de dados, como por exemplo, a derivação de resumo ou associação de regras e a utilização de técnicas de visualização multivariada.

 Modelagem de dependências: encontrar um modelo que descreve dependências significativas entre as variáveis.

 Detecção de mudança e desvios: descobrir as mudanças mais significativas em relação a dados prévios ou valores normativos.

Em função dos objetivos deste trabalho, a aplicação se deu no sentido da “Descoberta” utilizando modelos tanto para previsão como para descrição. Na análise foram utilizados métodos de classificação, clustering e modelagem de dependências.

Além dos métodos apresentados, a implementação de algoritmos de Data Mining se baseia em três componentes:

Representação do Modelo: a linguagem usada para descrever os padrões detectáveis. Se a representação é muito limitada, nenhuma quantidade de tempo de treinamento ou exemplos será capaz de produzir um modelo preciso para os dados. Por outro lado um poder excessivo na representação pode resultar em overfitting de dados. É importante que um analista de dados possa compreender totalmente as premissas de representação que podem ser inerentes a um método específico.

Critérios de avaliação do Modelo: funções de ajuste (“fit functions”) de quanto um determinado padrão (englobando um modelo e seus parâmetros) cumpre os objetivos do processo de KDDM. Por exemplo, modelos preditivos muitas vezes são julgados pela precisão de previsão empírica em algum conjunto de teste. Modelos descritivos podem ser avaliados juntamente com as dimensões de precisão preditiva, novidade, utilidade e compreensibilidade do modelo ajustado.

Método de busca: consiste em dois componentes: busca de parâmetros e busca de modelo. Uma vez que a representação do modelo (ou família de representações) e os critérios de avaliação do modelo estejam definidos, o problema de mineração de dados torna-se reduzido a apenas uma tarefa de otimização: localizar os parâmetros/modelos da família selecionada que otimizam os critérios de avaliação. Na busca de parâmetros o algoritmo deve procurar os parâmetros que otimizam os critérios de avaliação do modelo de acordo com os dados observados e uma representação do modelo fixo. A busca de modelo ocorre como um loop sobre o método de pesquisa de parâmetros: a

representação do modelo é alterada de forma que uma família de modelos é considerada (FAYYAD et al.,1996).

O item seguinte detalha a técnica de mineração de dados utilizada neste trabalho, as Redes Bayesianas.