2.5 Veri Analizi Araçları ve Geliştirilmesi
2.5.3 Öğrenci ve Öğretmen Sağlık Tutum Ölçeklerinin Uygulanması
Sabe-se que qualquer ferramenta que se propõe a dar notas está sujeita a críticas. Nesse sentido, a estrutura é confrontada com critérios para verificar se o modelo proposto atende ao objetivo de avaliar esquemas de PSA hídricos. Os resultados da aplicabilidade da estrutura são favoráveis ao seu uso, conforme os critérios avaliados.
1. Transparência:
A avaliação demonstra clareza sobre o tipo de dados que utiliza e a maneira como os dados são analisados e combinados para atribuir as notas. No caso de não haver disponibilidade da informação requerida, atribui-se nota zero, pois é condição necessária para efetividade do PSA. Nos casos em que havia pelo menos a indicação da existência de documentos em que deveriam constar as informações procuradas, mas o documento não estava disponível, atribui-se a nota 0,5, por atender à condição com ressalvas, mas por não ser possível analisar o documento e saber se atenderia plenamente a condição. Com essa explicação, espera-se esclarecer alguma dúvida que tenha pairado referente à clareza quanto aos tipos de dados utilizados.
Quanto à forma de julgamento, acredita-se que não há incertezas relacionadas à nota atribuída, pois se buscou avaliar com apenas três graus de existência da condição: ausência, presença, ou presença insatisfatória, diminuindo assim o grau de subjetividade da avaliação.
2. Disponibilidade:
O modelo proposto usou informações disponíveis em sites institucionais e/ou oficiais dos esquemas avaliados, nas publicações promocionais (CDs, livretos, folders), relatórios, editais, manuais, livros, artigos de periódicos ou congressos, teses e dissertações e slides de autoria identificada de instituições promotoras ou institucionais. Informações de autoria desconhecida não foram utilizadas.
Dessa forma, o modelo de avaliação proposto apresenta baixos requisitos de dados, não sendo necessários levantamentos de campo que encarecem o processo de avaliação. O levantamento in loco poderia promover uma avaliação mais segura e atual da situação dos esquemas de PSA, contudo, os dados coletados responderam as questões feitas com segurança, sendo que praticamente todas as informações necessárias estavam disponíveis.
Em termos de complexidade, algumas questões requerem maior nível de análise da documentação e compreensão dos contextos em que os esquemas avaliados foram implantados, inclusive em conjunto com outras condições. Por exemplo, a questão do monitoramento, em que foi constatado que a maioria das publicações dos esquemas relatam haver programa de monitoramento, todavia a análise mais a fundo dos parâmetros que estão sendo monitorados mostra que o acompanhamento não demonstra com clareza se houve adicionalidade dos serviços almejados. Isso acontece por dois motivos: a) falta da definição da linha de base ou b) o desconhecimento das complexidades existentes entre as relações de uso de solo e produção de água (HEJNOWICZ et al., 2014).
3. Flexibilidade:
Embora a estrutura tenha sido construída a partir de critérios relacionados aos esquemas de PSA hídrico, o que lhe deu robustez por expressar o que a literatura acadêmica vem afirmando, o modelo pode ser adaptado a outros tipos de
esquemas, como biodiversidade e carbono. Inclusive, a avaliação pode ser utilizada em esquemas de serviços múltiplos, após pequenas adaptações.
Além desses critérios de validação do modelo proposto, é interessante comparar a viabilidade do uso desse modelo confrontando com outras pesquisas que também procuraram avaliar a efetividade dos esquemas de PSA. Os resultados encontrados na presente pesquisa são semelhantes aos encontrados por Naeem et al. (2015), que avaliaram o grau de eficácia de 118 projetos de PSA que englobam diferentes serviços espalhados pelo mundo - inclusive no Brasil, onde os autores avaliaram o Programa Produtor de Água. A partir do conhecimento científico, os autores elencaram seis critérios das ciências naturais importantes para a eficácia do PSA: a) reconhecimento de que os ecossistemas são dinâmicos; b) linha de base (origem e especificidade dos dados de referências); c) reconhecimento dos conflitos e sinergias entre serviços, d) monitoramento dos principais fatores e serviços ambientais, e) inclusão de métricas (com método robusto, eficiente e versátil às mudanças) e f) garantia de durabilidade e sustentabilidade do projeto. Os resultados indicaram que em 60% dos projetos faltava pelo menos um dos princípios elencados. Com isso, os autores concluem que tais esquemas podem não maximizar os benefícios ecológicos ou correm o risco de fracassar.
A pesquisa de Naeem et al. (2015) colaborou com os resultados da seleção das condições importantes para o sucesso do PSA. Na avaliação de esquemas dispersos pelo mundo, os resultados não só confirmam as deficiências existentes no uso do instrumento, como fortalecem a aplicabilidade da estrutura proposta como modelo de avaliação da efetividade de esquemas de PSA, já que apresentaram resultados parecidos.
Também se confrontou o modelo utilizado com os princípios de avaliação de políticas e programas apresentados no 3.5.5 e verificou-se que o modelo proposto responde as perguntas levantadas por FIGUEIREDO et al. (1986) sobre em que medida as metas do esquema estão sendo alcançadas, procura verificar os custos e os efeitos e mostra onde estão os problemas. A estrutura de avaliação proposta também permite fazer inferências sobre a compatibilidade entre os objetivos do esquema e as necessidades da população envolvida, atributo importante da avaliação de políticas públicas (COTTA, 1998).
Por fim, confrontamos as condições importantes para a efetividade dos esquemas de PSA, usadas como parâmetros de avaliação neste estudo, com os critérios gerais para a avaliação de instrumentos de política ambiental (MICKWITZ, 2003). Tal análise mostra que os critérios elencados no Quadro 1, no item 3.5.5., avaliam questões correlacionadas com as condições da estrutura proposta, a saber: relevância, impacto, eficácia, persistência, flexibilidade, eficiência, legitimidade, transparência e equidade.
Dessa forma, pode-se inferir que o modelo proposto é aplicável, pois atende às regras básicas de aplicabilidade e permite aferir a execução de procedimentos de implantação dos instrumentos de política ambiental e avaliar a efetividade estabelecendo o grau de correspondência entre seus objetivos e resultados.