Palmeira (2004) realizou pesquisa sobre Sistemas de Mensuração do Retorno de Investimento em Treinamento, junto aos participantes do Congresso da Associação Brasileira de Treinamento e Desenvolvimento (ABTD), em dezembro de 2002, com o apoio da Associação Brasileira de Recursos Humanos (ABRH) – Seccional do Rio de Janeiro, envolvendo 75 empresas de grande porte, sendo que desse total, 67 estavam localizadas na Região Sudeste.
Na metodologia da pesquisa, utilizou questionário com perguntas abertas e fechadas, envolvendo em torno de vinte variáveis e a Escala de Likert de discordância/concordância, compreendendo níveis de 1 (discordo totalmente) a 5 (concordo totalmente).
A seguir, são descritos os resultados, bem como a análise das variáveis mais relacionadas à avaliação de programas educacionais.
Existência de metodologia de avaliação da matriz de origem. Entre as 26 empresas de capital estrangeiro, seis mencionaram que utilizavam metodologias de avaliação de treinamento, recebidas da matriz no país de origem. A maioria das empresas brasileiras, abrangendo filiais de multinacionais na amostra, não reproduzia os métodos de avaliação utilizados por suas matrizes nos países desenvolvidos.
Conhecimento prévio sobre o retorno do investimento em treinamento. Entre as 75 empresas, catorze não dispunham de pessoas com conhecimento prévio sobre o tema da pesquisa. Demonstrou que 81% das empresas contavam com pessoas que conheciam o ROI de treinamento, em diferentes níveis de aprofundamento.
Nossa organização tem a cultura de mensuração de resultados. Esse quesito apresentou média 3 (não concordo, nem discordo) em relação à cultura de mensuração de resultados. A média 3 demonstrou que ainda não é um ponto forte nas organizações analisadas.
Nossa organização faz mensuração na área de recursos humanos. O resultado foi semelhante à variável anterior, com média 3 (não concordo, nem discordo). Segundo a autora, o resultado refletiu que provavelmente a área de recursos humanos não estava preocupada em medir seus resultados, ou, numa perspectiva otimista, que estaria começando a se preocupar.
A diretoria tem pressionado no sentido de justificar o investimento em recursos humanos. O resultado foi semelhante à variável anterior, com média 3 (não concordo, nem discordo). O resultado apontou que ainda não havia uma pressão nítida
da diretoria por resultados em recursos humanos, o que ratificava as variáveis de cultura de resultados e cultura de resultados em recursos humanos.
Os programas de treinamento estão relacionados à estratégia organizacional. O resultado demonstrou que os programas de treinamento estão relacionados à estratégia organizacional.
Fazemos avaliação da satisfação em todos os nossos programas de treinamento. A média encontrada foi alta, acima de 4. O resultado demonstrou que a avaliação de reação era realizada na maioria dos programas.
Medimos a aprendizagem em todos os nossos programas de treinamento, com provas de final de curso para avaliar o ganho de aprendizagem, por exemplo. A média das respostas se situou entre o 2 (discordo) e o 3 (não concordo, nem discordo). A avaliação de aprendizado não era uma prática difundida.
Somos capazes de enumerar mudanças no comportamento no trabalho após os treinamentos, com avaliação do superior hierárquico ou avaliação de desempenho, por exemplo. A média encontrada foi muito baixa: 2 (discordo). A autora afirmou que, de modo similar ao segundo nível de avaliação, o aprendizado na escala de Kirkpatrick, a avaliação de comportamento, também não era uma prática comum na observação da amostra. Pelo resultado, pode-se afirmar que os respondentes discordavam que os programas de treinamento de sua empresa eram avaliados em termos de resultados e de ROI.
Sinto que o treinamento colabora com as demais estratégias da empresa no aumento do desempenho do negócio. O resultado foi positivo, grau ligeiramente superior a 4. Foi positiva a percepção do treinamento colaborando com outras estratégias para o aumento do desempenho do negócio, indicando que as pessoas concordavam com essa afirmação.
Sinto que todos os programas de treinamento têm relação com a melhoria do negócio. O resultado foi semelhante à variável anterior. Os participantes sentiam que esses programas eram importantes para melhorar o negócio.
O gestor de recursos humanos e o supervisor do funcionário sentem uma melhora no seu desempenho após o curso. Obteve a média 3,7. Indicou que o RH e o supervisor não sentiam tão facilmente essa melhoria. Essa afirmativa verifica a afirmação sobre a avaliação do nível três, mudança de comportamento, em que esta demonstrou não ser uma prática comum nas empresas da amostra.
A área de treinamento trabalha com indicadores de resultado em treinamento para todos os programas desenvolvidos. A média encontrada foi muito baixa: 2
(discordo). O resultado demonstra que não era uma prática comumente observada nas empresas respondentes.
O investimento em treinamento é percebido como relevante para o desempenho organizacional. A resposta média ficou próximo de 4 (concordo). Indicou que havia a percepção de que o investimento em treinamento era relevante para o desempenho organizacional.
Sentimento do respondente em relação ao grau de dificuldade do cálculo do ROI de treinamento. A média foi 3,7, próximo de 4 (concordo). Refletiu que era alta a percepção dos respondentes quanto à dificuldade do ROI, o que, segundo a autora, levava à consideração de que o que não se praticava parece ser difícil.
Sentimento dos respondentes em relação à importância do cálculo do ROI de treinamento. Nessa afirmação, a média encontrada foi 4,6, próximo de 5 (concordo totalmente). O resultado demonstrou que apesar de não ter o costume de mensurar resultados tanto na organização como um todo quanto na área de recursos humanos, os respondentes percebiam a importância do cálculo do ROI.
A pesquisa de Palmeira (2004) evidenciou que poucas empresas brasileiras têm aplicado sistemas de mensuração do Retorno do Investimento em Treinamento (ROI), a exemplo de pesquisas estrangeiras, como as aqui citadas de Phillips (1997) e ASTD (2004 apud CASTRO, 2005). Atribuem-se os mesmos obstáculos apresentados na pesquisa de Phillips (1997) à realização da avaliação no nível de resultados.