Fundamentos para a compreensão dos estudos com o Teacher Behavior Checklist a partir do diálogo entre Análise do Comportamento e Psicometria
CAPÍTULO 4 – Fundamentos para a compreensão dos estudos com o Teacher Behavior Checklist a partir do diálogo entre Análise do Comportamento e Psicometria
Pode o analista do comportamento considerar o TBC um instrumento útil para avaliar professores e que tipo de uso fará dos dados obtidos? E como lidar com as críticas analítico-comportamentais aos usos e interpretações dadas a testes/instrumentos psicológicos e aos procedimentos e interpretações da Psicometria? Se o presente trabalho busca seus fundamentos conceituais na Análise do Comportamento, por que tem a adaptação e validação de um instrumento como seu objetivo principal?
Para responder a essas questões, este capítulo foi dividido em três partes: (a) na primeira foi analisada a compatibilidade entre cada um dos 28 itens do TBC e recomendações de analistas do comportamento sobre o que deve compor o repertório culturalmente eficaz para ensinar. O objetivo foi o de sugerir que o TBC não está criando suposições novas, mas apenas reunindo recomendações que os próprios analistas do comportamento têm feito acerca do repertório de um professor eficaz (consultar Capítulos 1 e 2 deste trabalho). Basicamente, o procedimento para demonstrar isso foi o seguinte: para cada item do TBC foi relacionada uma referência compatível com a Análise do Comportamento que defenda a importância de um repertório similar àquele expresso no item; (b) na segunda parte deste capítulo, foram apresentadas críticas skinnerianas a utilidade de testes/instrumentos psicológicos e algumas metacríticas preliminares. O objetivo foi afastar a noção de que exista apenas um tipo de teste/instrumento, apenas um uso possível ou apenas uma interpretação para os dados obtidos a partir dele, bem como argumentar em favor da sua utilidade; (c) por fim, os conceitos de validade e de fidedignidade foram revisados para ajudar no entendimento dos estudos de base
psicométrica deste trabalho e para argumentar sobre a possibilidade de diálogo desse tipo de estudo com a Análise do Comportamento.
A utilidade do TBC para os analistas do comportamento
Analistas do comportamento defendem, conforme exposto no Capítulo 2, que o professor precisa apresentar diversas classes de comportamento pedagógicas, isto é, para gerenciar condições de ensino de modo a promover a aprendizagem de comportamentos que ele próprio é o responsável por identificar e justificar a relevância. Os seguintes itens do TBC parecem constituir exemplos desse tipo de repertório (embora não se restrinjam apenas a ele): “3 – Authoritative (Establishes clear course rules; maintains classroom order; speaks in a
loud, strong voice)”, “4 – Confident (Speaks clearly, makes eye contact, and answers questions correctly)”, “5 – Creative and Interesting (Experiments with teaching methods; uses technological devices to support and enhance lectures; uses interesting, relevant, and personal examples; not monotone)”, “6 – Effective Communicator (Speaks clearly/loudly; uses precise English; gives clear, compelling examples)”, “8 – Enthusiastic About Teaching and About Topic (Smiles during class, prepares interesting class activities, uses gestures and expressions of emotion to emphasize important points, and arrives on time for class)”, “9 – Establishes Daily and Academic Term Goals (Prepares/follows the syllabus and has goals for each class)”, “14 – Knowledgeable About Subject Matter (Easily answers students’ questions, does not read straight from the book or notes, and uses clear and understandable examples)”, “15 – Prepared (Brings necessary materials to class, is never late for class, and provides outlines of class discussion)”, “16 – Presents Current Information (Relates topic to current, real-life situations; uses recent videos, magazines, and newspapers to demonstrate points; talks about current topics; and uses new or recent texts)”, “18 – Promotes Class Discussion (Asks controversial or challenging questions during class, gives points for class
participation, and involves students in group activities during class)”, “19 – Promotes Critical Thinking/Intellectually Stimulating (Asks thoughtful questions during class, uses essay questions on tests and quizzes, assigns homework, and holds group discussions/activities)”, “20 – Provides Constructive Feedback (Writes comments on returned work, answers students’ questions, and gives advice on test-taking)”, “21 – Punctuality/Manages Class Time (Arrives to class on time/early, dismisses class on time, presents relevant materials in class, leaves time for questions, keeps appointments, and returns work in a timely way)”, “23 – Realistic Expectations of Students/Fair Testing and Grading (Covers material to be tested during class, writes relevant test questions, does not overload students with reading, teaches at an appropriate level for the majority of students in the course, and curves grades when appropriate)”, “25 – Sensitive and Persistent (Makes sure students understand material before moving to new material, holds extra study sessions, repeats information when necessary, and asks questions to check student understanding)”,
“26 – Strives to Be a Better Teacher (Requests feedback on his/her teaching ability from
students, continues learning [attends workshops, etc. on teaching], and uses new teaching methods)” e “27 – Technologically Competent (Knows how to use a computer, knows how to use e-mail with students, knows how to use overheads during class, and has a Web page for classes)”45.
Comportamentalistas também concordam, conforme abordado no Capítulo 2, ser fundamental que o professor seja socialmente competente. Parte dos itens do TBC indicam classes de comportamento relevantes para favorecer um desempenho socialmente competente do professor (são, portanto, indicações de Habilidades Sociais), a saber: “1 – Accessible (Posts office hours, gives out phone number and e-mail information)”, “2 –
Approachable/Personable (Smiles, greets students, initiates conversations, invites questions,
45 Os itens estão no formato original, mas seus equivalentes, adaptados para o português, estão disponíveis para
responds respectfully to student comments)”, “7 – Encourages and Cares for Students
(Provides praise for good student work, helps students who need it, offers bonus points and
extra credit, and knows student names)”, “10 – Flexible/Open-Minded (Changes calendar of course events when necessary, will meet at hours outside of office hours, pays attention to students when they state their opinions, accepts criticism from others, and allows students to do make-up work when appropriate)”, “11 – Good Listener (Doesn’t interrupt students while they are talking, maintains eye contact, and asks questions about points that students are making)”, “12 – Happy/Positive Attitude/Humorous (Tells jokes and funny stories, laughs with students)”, “13 – Humble (Admits mistakes, never brags, and doesn’t take credit for others’ successes)”, “22 – Rapport (Makes class laugh through jokes and funny stories, initiates and maintains class discussions, knows student names, and interacts with students before and after class)”, “24 – Respectful (Does not humiliate or embarrass students in class, is polite to students [says thank you and please, etc.], does not interrupt students while they are talking, and does not talk down to students)” e “28 – Understanding (Accepts legitimate excuses for missing class or coursework, is available before/after class to answer questions, doesn’t lose temper at students, and takes extra time to discuss difficult concepts)”. Tal como
no parágrafo anterior, essa classificação também não é absoluta.
A Tabela 3 apresenta uma proposta preliminar, a partir das classificações feitas nos dois parágrafos anteriores, de relação entre os itens do TBC e classes de comportamentos identificadas como importantes para o professor segundo trabalhos compatíveis com ou adotados por analistas do comportamento em sua atuação profissional46. A sigla CP significa Comportamentos Pedagógicos, CR Comportamentos Relacionais, HS Habilidade Social (nesses casos a referência a ser consultada é Del Prette & Del Prette, 2013, 2017) e HSE Habilidade Social Educativa (consultar Del Prette & Del Prette, 2008) – o item que não for
46 Consultar Bolsoni-Silva e Carrara (2010), Del Prette e Del Prette (2009, 2010) para um exame sobre a
compatibilidade entre o estudo das “Habilidades Sociais” e da “Competência Social” e a Análise do Comportamento.
classificado como HS ou HSE será acompanhado de um comentário e a indicação de uma referência específica. Diferente da relação mais simples feita nos dois parágrafos anteriores, foram destacadas, em alguns itens, possibilidades de classificação do mesmo tanto como CP e CR. A primeira classificação feita foi aquela considerada mais adequada em relação ao que o item do TBC pretendia enfatizar47.
Tabela 3. Suporte teórico aos itens do TBC a partir de trabalhos compatíveis com a Análise do Comportamento
Suporte teórico aos itens do TBC a partir de trabalhos compatíveis com a Análise do Comportamento
Itens originais do TBC Aproximação com a Análise do Comportamento
1 – Accessible [CR] HS (e.g., expressar apoio). 2 –
Approachable/Personable [CR] HS (e.g., expressão de sentimento positivo).
3 – Authoritative [CP] HSE (e.g., estabelecer limites e disciplina); [CR] Este item possui aspectos passíveis de classificação como HS (e.g., assertivas, direito e cidadania).
4 – Confident [CP] Autorregras do tipo autoconfiança podem tornar o professor mais resistente à frustração (Skinner, 1968/1972, Capítulo 7); envolve também conhecimento do conteúdo que leciona, o que é fundamental (Skinner, 1968/1972, Capítulo 10). 5 – Creative and
Interesting [CP] A criação de um ambiente reforçador positivo é fundamental para motivar os alunos a participar das aulas e estudar (Aloi, Haydu, & Carmo, 2014), bem como é importante variar as condições de ensino sob controle das necessidades dos alunos de modo a favorecer que todos aprendam (Skinner, 1968/1972, Capítulo 10). 6 – Effective
Communicator [CP] HSE (e.g., transmissão ou exposição de conteúdos); [CR] Del Prette e Del Prette (2013) poderiam classificar esse item como HS de comunicação. 7 – Encourages and
Cares for Students [CP] A redação do item contempla aspectos relacionados a fornecer feedbacks sobre o desempenho e criar condições adicionais para garantir o aprendizado (Gusso, 2013) e também permite que seja classificado como HSE (e.g., monitorar positivamente); [CR] É possível classifica-lo também como HS (e.g., empáticas e de expressão de sentimento positivo).
8 – Enthusiastic About Teaching and About Topic
[CP] A forma como o professor interage com o assunto, com a disciplina e com o seu trabalho pode constituir uma condição motivacional para aumentar o engajamento dos alunos (Aloi, Haydu, & Carmo, 2014).
9 – Establishes Daily and
Academic Term Goals [CP] Uma das principais tarefas de um professor: definir e comunicar objetivos de ensino (Kienen, 2008; Skinner, 1968/1972, Capítulo 10). 10 – Flexible/Open-
Minded [CR] HS (e.g., empáticas); [CP] Este item trata também de criar condições adicionais para que todos os alunos atinjam os objetivos de ensino (Botomé, 2000).
47Não se trata de “representar...” porque os itens do TBC foram construídos a partir da opinião de alunos, ou
seja, não foram derivados de uma teoria e, assim, não foram redigidos para representar exclusivamente um aspecto de um construto, embora possam ser interpretados como mais enfáticos acerca de aspectos pedagógicos ou relacionais.
11 – Good Listener [CR] HS (e.g., de comunicação, empáticas). 12 – Happy/Positive
Attitude/Humorous [CR] O estabelecimento do professor como reforçador positivo é relevante para motivar os alunos a participar das aulas e estudar (Aloi, Haydu, & Carmo, 2014). 13 – Humble [CR] HS (e.g., assertivas, de direito e de cidadania).
14 – Knowledgeable
About Subject Matter [CP] É importante que o professor domine os conteúdos sobre os quais leciona aliás, essa é uma condição relevante para que ele possa identificar objetivos de – ensino terminais (Skinner, 1968/1972, Capítulo 10).
15 – Prepared [CP] HSE (e.g., estabelecer contextos interativos potencialmente educativos). 16 – Presents Current
Information [CP] O professor deve preparar o aprendiz para lidar com situações concretas do mundo fora da sala de aula (Botomé, 2000; Gusso, 2013). 17 – Professional [CR] A forma como o professor se veste e o tipo de linguagem que adota, mais ou menos formal, pode afetar os efeitos do que faz (aulas, trabalhos propostos, etc.) favorecendo ou não comportamentos dos estudantes de atentar, engajar-se na disciplina e, no limite, aprender (Del Prette & Del Prette, 2009)*.
18 – Promotes Class
Discussion [CP] O ensino deve basear-se em respostas ativas dos aprendizes (Botomé, 2000; Kienen, 2008; Gusso, 2013). 19 – Promotes Critical
Thinking/Intellectually Stimulating
[CP] O professor precisa criar condições para favorecer a aprendizagem do governo intelectual (Skinner, 1968/1972, Capítulo 6).
20 – Provides
Constructive Feedback [CP] Uma das formas eficazes de promover a aprendizagem é por meio de feedbacks sobre o desempenho (Gusso, 2013); [CR] Del Prette e Del Prette (2013)
sugerem que fornecer feedbacks também pode ser classificado como HS de comunicação.
21 –
Punctuality/Manages Class Time
[CP] HSE (e.g., estabelecer contextos interativos potencialmente educativos); [CR] Este item possui aspectos passíveis de classificação como HS (e.g., civilidade e assertividade).
22 – Rapport [CR] HS (e.g., expressão de sentimento positivo). A formação de vínculos com os alunos ajuda a manter o engajamento deles ao longo do processo de ensino (Aloi, Haydu, & Carmo, 2014).
23 – Realistic Expectations of
Students/Fair Testing and Grading
[CP] O papel da avaliação é verificar se o ensino ocorreu e auxiliar o aprendiz a alcançar os objetivos de ensino (Botomé, 2000). Deve cobrir pequenas partes do conteúdo, pois o ensino deve ser realizado em pequenos passos (Skinner, 1968/1972, Capítulo 5); [CR] Este item possui aspectos passíveis de classificação como HS (e.g., empáticas).
24 – Respectful [CR] HS (e.g., civilidade e assertividade). 25 – Sensitive and
Persistent [CP] HSE (e.g., monitorar positivamente); [CR] Este item possui aspectos passíveis de classificação como HS (e.g., empáticas). 26 – Strives to Be a
Better Teacher
[CP] O professor deve buscar continuamente aprimorar-se com base nos resultados de avaliações do ensino (Botomé, 2000; Gusso, 2013).
27 – Technologically
Competent [CP] A tecnologia pode auxiliar na criação de condições de ensino eficazes e liberar o professor de atividades repetitivas (Skinner, 1968/1972, Capítulo 10). 28 – Understanding [CR] HS (e.g., empáticas); [CP] Este item trata também de criar condições adicionais para que todos os alunos atinjam os objetivos de ensino (Botomé, 2000). Nota. CP: Comportamentos Pedagógicos; CP: Comportamentos Relacionais; HS: Habilidade
Social (consultar Del Prette & Del Prette, 2013, 2017); HSE: Habilidade Social educativa (consultar Del Prette & Del Prette, 2008); * = Segundo Morales (1998/2008, Capítulo 2) quanto mais velho os alunos, menor o impacto desse tipo de variáveis.
Conforme exame apresentado na Tabela 3 é possível identificar trabalhos compatíveis com a Análise do Comportamento que fornecem suporte aos 28 itens do TBC. Isso revela que, de um ponto de vista analítico-comportamental, os itens do TBC são coerentes com o conhecimento disponível sobre um repertório culturalmente eficaz para ensinar. Dessa afirmação não se segue que o TBC contemple todos os aspectos desse repertório e não significa que professores com altas pontuações nesse instrumento de fato consigam promover aprendizagem. Conclusões sobre aprendizagem requerem medidas diretas do comportamento dos aprendizes, por exemplo, antes e após a intervenção do professor48.
Os dados produzidos a partir da aplicação do TBC podem ser úteis ao analista do comportamento como um recurso adicional e auxiliar para identificar aspectos do repertório do professor que podem ser mantidos e outros que precisam ser aperfeiçoados com base, por exemplo, no relato verbal dos alunos que o avaliaram. Ressalta-se, assim como foi feito no Capítulo 2, que a presente organização dos comportamentos em categorias é apenas uma proposta cuja utilidade está em resumir e enfatizar aspectos cruciais da atuação docente. Isso facilitar a análise de dados dos estudos que serão apresentados e a identificação de aspectos comuns entre os complexos processos comportamentais envolvidos no repertório de um professor, além de um diálogo com a literatura existente sobre avaliação docente que, geralmente, prevê duas dimensões, uma técnico-pedagógica ou que traduza a forma do professor ensinar e outra que diz respeito ao seu relacionamento com os discentes (e.g., Morales, 1998/2008; Peres-dos-Santos & Laros, 2007). Considera-se, portanto, que outras divisões ou organizações de categorias seriam possíveis.
48 Ressalta-se que um exame similar pode ser realizado comparando os itens do TBC com os fatores
identificados pelo MEC/INEP em relação aos 20 principais fatores que compõem o perfil de um bom professor. Por exemplo: “1. Domina os conteúdos curriculares das disciplinas que leciona, o que inclui a compreensão de seus princípios e conceitos”; “8. Estabelece um clima favorável para a aprendizagem, baseado em relações de respeito, equidade, confiança, cooperação e entusiasmo” (Brasil, 2010, p. 2).
Com base no que foi afirmado no parágrafo anterior, quanto maior a pontuação (ou a quantidade de seleções de pontos da escala associados a uma avaliação positiva) do professor, melhor o seu repertório, e quanto pior a pontuação (ou a quantidade de seleções de pontos da escala associados a uma avaliação negativa) mais componentes do repertório do professor precisarão ser aperfeiçoados. Mesmo numa avaliação positiva, o professor poderá identificar itens do TBC nos quais recebeu avaliações mais negativas e utilizar esse critério para procurar formas de aprimorar-se seja por meio de um curso de formação continuada ou pela experimentação de novas práticas. A avaliação positiva também mostra o que o professor deve manter, o que consiste num nível importante de atuação profissional – conforme Botomé (2000) explica, não basta apenas reverter ou trabalhar sobre problemas, é preciso também saber manter bons processos comportamentais.
Neste ponto, é preciso lembrar que o relato verbal também é comportamento operante, sendo, portanto, sensível às consequências que produz (Barros, 2003). Esse é um sério problema dos relatos verbais como fontes fidedignas de informação, porque eles não necessariamente descrevem com precisão outros comportamentos ou variáveis do ambiente que o pesquisador deseja investigar. O professor pode ser, por exemplo, atencioso com os alunos, mas o que impede um aluno de avaliá-lo negativamente nesse quesito só porque recebeu uma nota ruim na última prova? E o que impede o aluno de avaliar o professor positivamente num item como “comunica-se adequadamente” só porque tem uma boa relação com o professor, quando, na realidade, o professor tem um repertório de comunicação pobre? Além desses exemplos, pode acontecer também de o aluno não estar sob controle de um ou mais comportamentos que precisam ser avaliados ou não compreender um item, etc.
Outros problemas poderiam ser acrescentados ou discutidos de modo mais detalhado, mas não mudariam o fato de que, apesar das críticas, em alguns contextos uma das principais fontes de informação sobre comportamento humano é o relato verbal (e.g.,
pesquisas e intervenções na área de Psicologia Clínica dependem de relato verbal)49. Logo, essa é uma questão que precisa ser enfrentada e existem formas de amenizar os problemas supracitados (Cassettari, 2014; Wilson & Ryan, 2012), a saber: ensinando os alunos como avaliar a partir de instruções claras, selecionando o momento mais adequado (preferencialmente, distante dos períodos de provas), instruindo sobre a importância de uma avaliação justa, comparando as avaliações de cada aluno da turma para identificar distorções nos dados, etc. Além disso, é recomendável compor a avaliação formativa do professor a partir de outras fontes além dos aprendizes ou de um único instrumento.
No contexto da gestão do comportamento nas organizações (ou Análise Comportamental Aplicada às Organizações), Rocha (2016) explica que três formas de levantamento de informações são reconhecidas para a realização de análises funcionais: o
descriptive assessment, o experimental analysis e o informant assessment. O primeiro diz
respeito à observação direta de um comportamento em contexto natural e o segundo envolve manipular variáveis e observar seus efeitos sobre o comportamento. Essas são as duas principais modalidades de levantamento de dados e aquelas que fornecem informações mais precisas. Contudo, Rocha lembra que, por vezes, análises prolongadas não são possíveis, a observação direta é inviável ou a manipulação direta de variáveis não pode ser feita. Nesses casos, o informant assessment é recomendado. Essa técnica envolve obter informações sobre variáveis que podem estar mantendo determinados processos comportamentais na organização com base no relato verbal dos trabalhadores. Essas informações, segundo a autora, podem auxiliar no levantamento de hipóteses iniciais e na elaboração de um diagnóstico preliminar que, posteriormente, precisará ser complementado por outros métodos de coleta de dados. No caso do TBC, a proposta é que alunos ajudem a descrever o repertório
49 Ericsson e Simon (1980), por exemplo, defendem de um ponto de vista da Psicologia Cognitiva que o relato
verbal é dado, assim como outros tipos de dados aceitos nas pesquisas em Psicologia Experimental. Portanto, é aceitável que esse tipo de dado, o relato verbal, seja coletado e analisado. O que os autores propõem é que, como em outros tipos de comportamento, faz-se necessário entender os mecanismos que explicam a ocorrência de um determinado relato verbal. Essa é uma condição para usá-lo em contexto de pesquisa.
de um professor para, assim, auxiliá-lo a discriminar como pode desenvolver-se. É válido que essa descrição obtida com os alunos enquanto informantes seja comparada com outras fontes de informação e, recomenda-se, que estudos sejam conduzidos para desenhar programas de ensino específicos para a capacitação de professores que apresentem déficits de repertório em relação a cada um dos itens do TBC.
Outro motivo pelo qual relatos verbais de estudantes devem ser considerados é que, segundo Malott (2005), o aprendiz tem sempre razão. Isso tem um significado específico de que o responsável por arranjar contingências de ensino não deve culpar o estudante que não aprendeu, mas as contingências que arranjou. Ou seja, em certo sentido, é preciso mudar contingências e não os aprendizes. Malott defende que se deve admitir que o relato verbal dos alunos também precise ser considerado, especialmente, quando aponta dificuldades ou discordâncias em relação a comportamentos do professor. O professor precisa estar atento ao fato de que a queixa do aluno pode não ser uma descrição adequada de como as contingências de ensino poderiam ser arranjadas de modo eficaz e, sim, uma esquiva de alguma condição aversiva como uma prova. Mas ele só saberá disso, ou que algo realmente precisa ser modificado, se aceitar receber feedbacks dos alunos e analisá-los funcionalmente.
Segundo Peres-dos-Santos e Laros (2007), “[...] a análise crítica da literatura nos permite considerar a avaliação do professor pelo aluno, quando bem planejada, construída e
administrada, como um elemento importante para a melhoria da qualidade do ensino” (p. 78).
Os autores complementam essa tese afirmando que os alunos “[...] não devem ser considerados participantes mudos na melhoria da qualidade dos processos de ensino e aprendizagem” (p. 79), ou seja, eles devem ser consultados. Para Moreira (1981):
[...] essa avaliação é apenas um ponto a considerar na avaliação do desempenho de um professor. Avaliar a qualidade do ensino é uma tarefa por demais difícil e complicada para basear-se unicamente na
opinião dos alunos. Por outro lado, é difícil conceber-se uma avaliação da qualidade do ensino sem levar em conta o que pensam os alunos, pois eles constituem a audiência para a qual o ensino é dirigido (p. 110).
Críticas skinnerianas ao uso de testes/instrumentos psicológicos e metacríticas
Apesar dos argumentos apresentados nos parágrafos anteriores, o analista do