O fenômeno do texto composto ou multimodal é um desafio para analistas do discurso, particularmente para os que trabalham com ferramentas linguísticas moldadas para o texto verbal, diz Macken-Horarik (2004). Ela analisa a contribuição complementar entre imagem (ilustrações) e palavras (do texto) no processo da construção de significados. Apoiando-se principalmente na análise da AVALIATIVIDADE praticada na Sydney School linguistics, ela propõe uma avaliação mais rica da imagem e da verbiagem do que é feito atualmente em análises desses modos. Uma gramática semiótica nesses moldes foi desenvolvida por Gunther Kress e Theo Van Leeuwen em Reading Images (1996), em que, amparados pela Gramática Sistêmico-Funcional, os autores fornecem um enquadramento teórico consistente para a análise de textos visuais.
Primeiramente, diz Macken-Horarik, lidamos com textos multimodais diariamente, sempre que lemos jornais, assistimos à televisão, jogamos videogame ou até mesmo quando lemos um livro. Nosso enquadre semiótico de análise deveria permitir-nos compreender mais sobre a contribuição dos diferentes modos nas nossas práticas da semiótica em mutação. Segundo, a multimodalidade está cada vez mais incorporada ao currículo escolar, e precisamos abordá-la em nosso trabalho educacional. A maior parte dos jovens alunos são mais hábeis do que seus pais na utilização da tecnologia da informática nos contextos de lazer e na escola. Porém, além do conhecimento prático, eles precisam ter acesso a ferramentas analíticas que tornem as potencialidades e os limites dessas modalidades mais aparentes e mais suscetíveis a desafios e ao seu redesenho onde necessário. Nossos programas de letramento precisam facilitar o trabalho metasemiótico dos nossos alunos.
Na pesquisa que faz, a autora notou que os espectadores em geral mudam entre imagem e verbiagem quando reagem a cada obra. Muitos deles olham para as imagens por um tempo, leem o painel de texto, depois voltam à imagem. Como eles, a autora também usava a escrita como um comentário da imagem, uma oportunidade de ver a obra do ponto de vista do artista-aluno. Ela reagia, num primeiro momento, frequentemente de modo difuso, à imagem e depois a re- enquadrava à luz do painel de texto, que dirigia seu olhar a certas qualidades da obra. Quando voltava à imagem, havia mais significado do que antes.
A fim de desenvolver uma gramática semiótica adequada para a análise do discurso multimodal, temos de começar de algum lugar, afirma Macken-Horarik. A Gramática Sistêmico-Funcional (GSF) de Halliday tem se revelado útil em vários aspectos. Primeiramente, a GSF tenta relacionar as estruturas linguísticas ao contexto social em que são produzidas. Halliday e seus colaboradores partem do pressuposto de que a “língua é como é devido às funções que serve na vida das pessoas, e assim precisamos proceder de fora para dentro, interpretando a língua com referência ao seu lugar no processo social” (HALLIDAY, 1978, p. 4). A relação das estruturas linguísticas com os processos sociais faz da GSF um recurso útil para o estudo mais amplo de diferentes modos semióticos. O foco na relação entre estruturas sociais e linguísticas tem lhe dado uma face “de aplicação” poderosa em relação a outras gramáticas, levando a pesquisas influentes na educação entre outras áreas institucionais.
Segundo, como uma gramática, a GSF permite mapear não apenas palavras, mas a combinação de palavras a que Halliday chama de ‘wordings’, e interpreta esses sintagmas (grupos) linguísticos em termos funcionais. Até agora, tem havido pouquíssimas análises sistemáticas de estruturas análogas em comunicação visual. Como Kress et al., (1997, p. 260) afirmam, a análise de imagens tem se detido em itens de conteúdo, ou “léxico”, e não na estrutura interna das imagens, ou “sintaxe”. Essa é uma tarefa importante se quisermos desenvolver uma “gramática” que nos possibilite entender a relação entre as estruturas linguísticas e não linguísticas.
Em terceiro lugar, a GSF é uma gramática orientada para escolhas em vez de regras. As escolhas linguísticas são modeladas em termos de sistema de redes – uma gama de opções relacionadas a diferentes significados, que são realizadas por uma seleção léxico-gramatical (tipos de oração e frase). Embora não seja apropriado para todos os tipos de estrutura de significado (prosódia, gradação e intensidade), o
sistema é um recurso útil de representação para a exibição de opções discretas de sentido em diferentes contextos semióticos (fala, escrita e, a partir de agora, imagem).
Em quarto lugar, a GSF incorpora três tipos de significados na análise da comunicação humana. Essas metafunções incluem: o significado Interpessoal (relações sociais e de identidade que atuam e são usadas nos textos); Ideacional (a representação empírica da realidade experiencial (ou, melhor, realidades) nos textos; e significados Textuais (os modos pelos quais os textos são feitos coerentes e relacionados ao seu contexto. O princípio das metafunções forneceu aos semioticistas categorias abstratas e gerais para a análise de diferentes sistemas semióticos.
Kress e Van Leeuwen consideram três sistemas principais para análise do significado nas imagens interativas, que incluem: o sistema de contato, através do qual a imagem age sobre o expectador de alguma maneira (exigindo uma resposta ou oferecendo uma “informação” visual); o sistema de distância social, através do qual o espectador é convidado a aproximar-se dos participantes representados (distância social íntima), mantida a uma distância razoável (distância social) ou “na posição de afastamento” (distância impessoal); e dois grupos de sistemas dentro de atitude: dimensão horizontal, que cria envolvimento dos espectadores (por meio da frontalidade) ou afastamento (através da lateralidade), e da dimensão vertical, que cria a relação de poder entre o espectador e participantes representados (hierárquico ou solidário). Esses recursos visuais correspondem mais ou menos aos sistemas linguísticos, tais como, os atos de fala, o modo, a pessoa e os recursos como a avaliação.
Quadro 7 - As categorias de análise da imagem
Kress e Van Leeuwen
SISTEMAS
contato distância social de atitude
● chamam atenção ou
● oferecem informação ● aproximar (tamanho) ● afastar (idem) ● horizontal (envolvimento) ● vertical (hierarquia) Assim, os textos verbais e visuais criam tipos complementares de contato com seu destinatário:
(a) através das imagens (b) através da verbiagem Fonte: KRESS; van LEEUWEN, 1996.