Diğer Yan Yükümlülükler

A fase dois destinou-se à aplicação do MPD no problema de avaliação e monitoramento de cursos do IFMG. A aplicação do MPD no IFMG teve início com a apresentação do MPD à Pró-Reitoria de Ensino (PROEN) para avaliação, extração do conhecimento dos gestores dessa área e montagem do modelo baseado em lógica difusa para avaliação e monitoramento de cursos. Após a externalização do conhecimento necessário para monitorar cursos superiores, buscou-se extrair os resultados obtidos com a tomada de decisão

mediante a análise de dados do MPD através do método de Análise de conteúdo. Essa fase foi responsável por gerar os resultados finais do presente trabalho. Adiante são apresentados os instrumentos metodológicos utilizados no desenvolvimento da pesquisa.

5.3.1 Planejamento

Como a proposta da pesquisa foi o desenvolvimento de um modelo e protótipo difuso, e ainda, sob a perspectiva qualitativa, a coleta de dados não teve pretensão de retornar dados quantitativos e sim dados qualitativos para que o modelo pudesse ser aplicado no problema de avaliação de curso do IFMG. Na fase de planejamento buscou-se identificar os pontos de aplicação da pesquisa no problema de monitoramento e avaliação de cursos do IFMG, definir o escopo e o pressuposto. Ao final dessa fase, todos os conceitos necessários para criação do Modelo de Decisão para Avaliação de Cursos do IFMG foram definidos. Nesse sentido, foram utilizadas as técnicas abaixo para executar a pesquisa no IFMG:

Reuniões de Brainstorming (Levantamento de possibilidades): Essas reuniões tiveram o objetivo de levantar possíveis pontos a serem trabalhados com a equipe da Pró-Reitoria de Ensino (PROEN) para elaboração do modelo de decisão.

Reuniões de Definição: Essas reuniões tiveram o objetivo de definir aspectos importantes com relação à aplicação da pesquisa, como, modalidade de ensino a ser avaliada, período de avaliação, unidades a serem avaliadas, indicadores e termos linguísticos a serem utilizados.

Tabela de Inferência: Essa tabela foi utilizada com a intenção de extrair o conhecimento dos especialistas da PROEN para montar as regras de inferência da lógica difusa no modelo de monitoramento de cursos.

5.3.1.1 Pressuposto

O principal resultado esperado com essa pesquisa é a contribuição para o processo de avaliação e monitoramento de cursos do IFMG através da redução da incerteza nesse processo por meio do MPD desenvolvido. A hipótese principal foi a possibilidade de melhorar o processo de monitoramento de cursos superiores com base no MPD reduzindo aspectos incertos nos limites e na análise agregada dos indicadores do ensino. Consequentemente

espera-se que se o processo de avaliação seja aperfeiçoado, as decisões que dele surjam, sejam mais coerentes com os objetivos institucionais.

5.3.2 Execução – Cadastro do Problema no MPD

Após a identificação do escopo, premissas básicas do trabalho e do modelo difuso para avaliação de cursos do IFMG, o modelo de monitoramento de cursos superiores do IFMG foi cadastrado no protótipo. Essa fase constitui a criação do modelo, o cadastro das variáveis de decisão (indicadores de avaliação de cursos), o cadastro dos termos linguísticos (possíveis classificações dos indicadores) e as regras de inferência que são utilizadas para processamento difuso.

5.3.3 Execução - Coleta de Dados

Após a criação do modelo de decisão para monitoramento e avaliação de cursos no MPD, a coleta dos dados de cada indicador foi iniciada. Os valores de cada indicador foram coletados de forma automática através da API de integração com base de dados externa. Dessa forma, não foi necessário à equipe da PROEN realizar a inserção de valores dos indicadores no modelo de decisão criado. A análise dos cursos foi realizada nos cursos superiores do IFMG, com dados obtidos no ano de 2013, nas unidades Bambuí, Formiga e Congonhas.

Nessa fase foram desenvolvidas as consultas SQL para busca automática dos dados no ERP Educacional do IFMG. Essas consultas foram desenvolvidas com o apoio da equipe da PROEN e passaram por uma validação perante os conceitos definidos para cada indicador. Após a definição das consultas SQL, foram definidos os cursos a serem avaliados. Essa definição ocorreu após uma busca inicial dos dados para verificar quais cursos estavam aptos a serem comparados. Após a coleta dos dados, foi realizada uma análise e validação dos dados buscando identificar irregularidades que pudessem comprometer a comparação ou o resultado da pesquisa. Após a validação dos dados originais, foi gerado o escore padronizado ou normalização de valores para que os termos linguísticos pudessem ser gerados.

5.3.4 Resultados – Validação do Protótipo MPD

Foi realizado um treinamento com a equipe da PROEN para operação do MPD. Os usuários puderam monitorar online o desempenho dos cursos das unidades supracitadas no ano de 2013 com base nos indicadores de processo. Os resultados da pesquisa são obtidos

com base no resultado gerado pela aplicação do MPD no problema de avaliação de cursos. Para análise dos resultados do modelo e validação do protótipo, foram utilizadas duas técnicas:

Comparação: Foi realizado o processamento dos mesmos dados utilizando lógica difusa e lógica booleana. Essa comparação tem o intuito de identificar as diferenças entre o resultado com redução da incerteza e o resultado clássico. Através da comparação entre a análise dos dados no modelo com lógica difusa e lógica booleana, pretende-se descobrir, através de uma visão holística, se o resultado gerado com a lógica difusa é mais próximo da precisão necessária para avaliação de cursos no IFMG. A opinião do especialista é fator primordial para essa análise.

Análise de conteúdo: Os resultados obtidos no MPD são analisados utilizando a Análise de conteúdo, que conforme aponta BARDIN (2002), conceitua-se como:

“Um conjunto de técnicas de análise das comunicações visando obter, por procedimentos, sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens.” BARDIN (2002, p.4)

Na análise de conteúdo, a exploração dos resultados geralmente pode ser realizada utilizando as seguintes técnicas de Análise Categorial, Análise de Avaliação, Análise de

Enunciação, Análise de Expressão, Análise das Relações e Análise do Discurso. Nesse

trabalho foi utilizada a técnica de Análise Categorial que consiste em desmembrar o texto em unidades e categorias segundo reagrupamentos analógicos remetendo ao referencial teórico (MENEGON, 2009). Conforme aponta Mozzato e Grzybovski (2011), a metodologia da análise de conteúdo não deve ser interpretada como um modelo rígido com relação a sua aplicação e fases desenvolvidas. Essa metodologia visa buscar o rigor científico necessário, entretanto, sem desprezar a flexibilidade exigida em tempos atuais. Bardin (1977), um dos autores mais conceituados na Análise de Conteúdo também afirma que essa análise não é somente um instrumento, mas um “leque de apetrechos” marcada por uma grande quantidade de formas e adaptável ao campo de aplicação, podendo ser aplicada em pesquisas qualitativas e quantitativas.

A aplicação da análise de conteúdo para obtenção de resultados finais da pesquisa e validação do protótipo foi realizada juntamente com a equipe da PROEN, que é o principal ator na utilização do MPD. A análise de conteúdo foi realizada em três fases, descritas abaixo: Pré-Análise: Estabelecimento de Categorias – Análise Categorial: Conforme citado anteriormente, a análise categorial consiste inicialmente em estabelecer categorias com base no referencial teórico. Nessa etapa, foram observados aspectos do problema da pesquisa e dos seus objetivos diretos e indiretos considerando as reuniões realizadas na etapa de planejamento. As categorias criadas objetivam verificar se o MPD contempla aspectos da Ciência da Informação que fornecem a estrutura conceitual da pesquisa e as características dos indicadores de avaliação da educação propostos por Harvey e Green, mencionados na seção 3.2.6.

Pré-Análise: Questionário Presença Categorias: Após o estabelecimento das categorias, foi aplicado um questionário com a equipe da PROEN. Os profissionais deveriam responder para cada categoria apresentada se a mesma estava Totalmente Presente, Parcialmente Presente ou Ausente nos resultados gerados pelo MPD. Para aplicação desse questionário foi utilizado o Google Drive.

Resultados: Entrevistas de validação: Após a resposta do questionário por parte dos profissionais da PROEN, foi realizada uma entrevista com cada profissional buscando identificar os pontos positivos e negativos em relação às respostas dos profissionais. Essa crítica dos resultados foi importante para levantar aspectos que pudessem ser melhorados em trabalhos futuros, e aperfeiçoar ainda mais a utilização do MPD no processo de avaliação de cursos do IFMG. Ramos e Salvi (2009) classificam essa fase como o tratamento dos resultados vinculados à fundamentação teórica que permite avançar para as conclusões da pesquisa.