Desenvolvimento de um teste informatizado para avaliação do raciocínio, da memória e da velocidade do processamento

An electronic test development for reasoning, memory and processing speed assessment

ARTIGOS

Desenvolvimento de um teste informatizado para avaliação do raciocínio, da memória e da velocidade do processamento¹

An electronic test development for reasoning, memory and processing speed assessment

Marco Antonio dos Santos^I; Ricardo Primi^II

^IDoutorando, Programa de Pós-Graduação em Psicologia, Centro de Ciências da Vida, Pontifícia Universidade Católica de Campinas. Campinas, SP, Brasil

^IILaboratório de Avaliação Psicológica e Educacional (LabAPE), Programa de Estudos Pós-Graduados em Psicologia, Universidade São Francisco. Rua Alexandre Rodrigues Barbosa, 45, 13251-900, Itatiba, SP, Brasil. Correspondência para/Correspondence to: R. PRIMI.E-mail: <[e-mail]>

RESUMO

Este estudo investiga a precisão e a validade de um teste informatizado que avalia principalmente três habilidades cognitivas: raciocínio indutivo, memória de curto prazo auditiva e memória de curto prazo visual, utilizando o modelo de Cattell-Horn-Carroll e comparando o desempenho no teste com a avaliação de dificuldades escolares feitas pelas professoras. O teste foi aplicado em 70 estudantes do ensino fundamental da rede municipal de segunda a quarta séries com idades entre 7 e 12 anos, sendo 52,9% dos participantes do sexo masculino. O instrumento apresentou evidências de precisão por consistência interna com alfa de 0,81 (raciocínio indutivo), 0,93 (memória de curto prazo auditiva) e 0,81 (memória de curto prazo visual). Comparando os resultados do instrumento com a avaliação externa, independente de dificuldades escolares feitas pelas professoras, verificou-se que a maior parte das medidas cognitivas obtidas na avaliação informatizada se correlaciona significativamente (magnitudes variando de 0,29 a 0,51) com dificuldades escolares ligadas ao aspecto motor, à hiperatividade, à escrita, à leitura e ao cálculo.

Palavras-chave: distúrbios de aprendizagem; escolares do ensino fundamental; memória de curto prazo; raciocínio indutivo.

ABSTRACT

This study investigates the accuracy and diligence of an electronic test which purpose is the assessment of three cognitive abilities: inductive reasoning, short-term auditory memory and short-term visual memory based on Cattell-Horn-Carroll model. The test was answered by 70 children from a Municipal Elementary School (2th to 4th grades), aged from 7 to 12 years old, 52,9% male. The test achieved internal consistency accurate data: .81 (inductive reasoning), 93 (short-term auditory memory) and .81 (short-term visual memory). According to the comparison between the results of this instrument and the data from students' teachers that were external and without criteria, it is possible to confirm that most of the cognitive measures presents coefficients correlated to external teachers ratings on areas such as motor skills, hyperactivity, writing, reading and math. 29 -.51.

Key words: learning disabilities; elementary school students; inductive reasoning; short-term memory.

Com a crescente complexificação da sociedade, a aprendizagem de novas informações assume papel importante no sucesso ou fracasso dos indivíduos no mundo moderno. O ajustamento a essas exigências sociais torna-se fator preponderante para ser incluído ou excluído e esse ajustamento se associa às capacidades cognitivas uma vez que são fatores essenciais da aprendizagem, já que parte das dificuldades pode ser explicada por baixos níveis em capacidades cognitivas específicas.

Apesar dessa importância, muitas vezes os testes tradicionais de QI parecem não oferecer ajuda para o entendimento das dificuldades de aprendizagem. Além do uso inadequado e da escassez de profissionais formados com um conjunto mínimo de competências e conhecimentos para realizar essa avaliação, existe ainda a carência de instrumentos baseados em teorias mais modernas da inteligência (Flanagan & Ortiz, 2001, Gardner, 1998). Mesmo a nova edição da Escala de Inteligência Infantil de Wechsler, o WISC-III, recentemente publicada no Brasil (Wechsler, 2002), apresenta uma série de limitações quanto às dimensões avaliadas (Flanagan, McGrew, & Ortiz, 2000; Primi, 2003).

Nesse contexto iniciou-se um projeto para o desenvolvimento de uma bateria de testes informatizados nos quais se aplicam as idéias desenvolvidas recentemente pela psicometria, em particular, no cenário norte-americano, pela teoria Cattell-Horn-Carroll (CHC) das capacidades cognitivas (McGrew & Flanagan, 1998, 1999; Primi, 2002a; 2002b; 2002c; 2003). Neste artigo se apresentam os resultados do desenvolvimento de quatro subtestes que avaliam quatro capacidades específicas da inteligência segundo o modelo CHC: raciocínio indutivo, memória de curto prazo auditiva e memória de curto prazo visual e velocidade de processamento. O objetivo básico deste estudo é investigar a precisão e a validade do instrumento, verificando se as dificuldades nas capacidades cognitivas medidas nas provas estavam associadas a indicadores externos de dificuldades de aprendizagem.

Uma avaliação amparada por bons instrumentos torna-se importante, pois tem o potencial de oferecer subsídios para o estabelecimento de um plano de intervenção que se ajuste às necessidades individuais identificadas, aumentando a possibilidade de sucesso da intervenção. Dessa forma, quanto mais informações o instrumento puder oferecer, mais poderá contribuir para um tratamento eficaz que atenda às reais necessidades dos indivíduos envolvidos.

Se imaginarmos a linha do tempo, poderemos compor as principais idéias que alavancaram o progresso das teorias psicométricas da inteligência. Entre os pioneiros, na primeira metade do século XX, destacam-se a teoria do fator g de Spearman, a teoria das aptidões primárias de Thurstone, os fatores de grupo de Burt e a teoria Gf-Gc de Cattell. Na segunda metade do século XX, a teoria Gf-Gc foi estendida por uma série de estudos de John Horn, orientando de Cattell (McGrew & Flanagan, 1999).

Seguindo as idéias de Thurstone e Spearman, Cattell, na década de 1940, constatou a existência de dois fatores gerais compondo a inteligência. Alguns anos depois, Jonh Horn confirmou os estudos de Cattell. Os dois fatores passaram então a ser designados como inteligência fluida e inteligência cristalizada (Cattell, 1943; Horn & Cattell, 1966). A inteligência fluida (Gf) está ligada a solução de problemas novos e demonstração de flexibilidade e adaptação em tarefas minimamente dependentes de experiências de aprendizagem e conhecimento passado. A inteligência cristalizada (Gc) está relacionada à solução de problemas e demonstração de conhecimentos dependente de experiências de aprendizagem e, portanto, está ligada aos conhecimentos educacionais bem como àqueles adquiridos pelos indivíduos ao longo da vida (Nascimento, 2000, p.15).

No final do século XX, Carroll (1993) publicou o livro "As habilidades cognitivas humanas: uma análise dos estudos fatoriais", no qual apresenta uma metanálise de 460 conjuntos de dados de artigos clássicos, relatando estudos sobre a estrutura da inteligência.Nesse livro, ele faz uma revisão da literatura mundial das teorias analítico-fatoriais que estudaram as diferenças individuais das capacidades cognitivas coletadas há mais de um século. Além disso, define a taxonomia diferencial da psicologia cognitivista como uma forma mais abrangente de entender os processos cognitivos. Ele realizou a maior revisão das pesquisas psicométricas dos últimos 60 anos e incluiu aproximadamente todos os mais importantes estudos clássicos dessa abordagem. Em razão dessas características, esse trabalho tem se tornado um dos modelos mais aceitos e a partir do qual se tem uma taxonomia abrangente da inteligência, pelo menos no que diz respeito às medidas criadas pelas teorias psicométricas.

A análise desses dados possibilitou a confirmação e a ampliação da teoria Gf-Gc, e seus resultados o levaram a propor a teoria dos três estratos das habilidades cognitivas, que diferencia os fatores em uma hierarquia com três camadas: a camada I, formada por um conjunto de habilidades específicas; a camada II, formada por habilidades amplas ou gerais; e a camada III, formada por uma única habilidade geral (fator g). Essa teoria oferece um mapa das capacidades cognitivas, permitindo identificar, enumerar e estruturar as habilidades cognitivas conhecidas pela psicometria. A teoria das três camadas postulou que na camada mais alta (III) estaria um fator geral, chamado "g", que indica a existência de processos cognitivos gerais. A segunda camada composta por oito fatores gerais indicaria a organização das capacidades em domínios mais amplos de especialização cognitiva. Já na camada I haveria vários fatores de primeira ordem que, dispostos abaixo dos fatores da camada II, representariam especializações ainda mais acentuadas das habilidades, refletindo as habilidades envolvidas nos testes específicos usados nas baterias de avaliação da inteligência (Carroll,1993).

Essa teoria é importante no contexto psico-métrico porque, além de contemplar inúmeras versões anteriores acerca da estrutura fatorial da inteligência, sistematiza um grande conjunto de dados, permitindo sustentar uma concepção de organização hierárquica da inteligência abrangente. Em razão disso ocorreu recentemente uma integração desse modelo com a teoria Gf-Gc de Cattell e Horn, compondo-se a teoria Cattell-Horn-Carroll das capacidades cognitivas ou teoria CHC. Esse modelo pode ser considerado o estádio mais evoluído das teorias psicométricas da inteligência. A teoria CHC enfatiza a camada II e I dos modelos de Carroll (1993) e especifica dez fatores de domínio amplo (estrato II) das capacidades cognitivas, que são descritos a seguir (baseado em Schelini, 2002; McGrew, & Flanagan, 1999):

1) Inteligência fluida (Gf): pode ser definida como a habilidade para raciocinar em situações novas ou inesperadas, sendo manifestada na reorganização, transformação e generalização da informação. As deficiências nesse fator se caracterizam pela dificuldade em generalizar regras, formas, conceitos e observar implicações. No nível mais específico (estrato III) é composta por (a) raciocínio seqüencial geral: habilidade para iniciar com regras definidas, premissas ou condições e desenvolver um ou mais passos para alcançar a solução de um problema; (b) indução: habilidade para descobrir regras, conceitos, associação de classe que governa um problema; (c) raciocínio quantitativo: habilidade de raciocínio indutivo e dedutivo, com conceitos envolvendo relações matemáticas e quantitativas e (d) raciocínio piagetiano: conservação, seriação, classificação e outras habilidades cognitivas definidas por Piaget.

2) Conhecimento quantitativo (Gq): está relacionado à habilidade de compreender conceitos e relações quantitativas, bem como de manipular símbolos numéricos. A deficiência neste fator é refletida na dificuldade com tarefas numéricas.

3) Inteligência cristalizada (Gc): representa a profundidade e a quantidade de experiência e conhecimentos adquiridos. Inclui a compreensão da comunicação e tipos de raciocínio baseados em processos previamente aprendidos. As deficiências nesse fator se caracterizam pela carência de informações e habilidades lingüísticas.

4) Leitura e escrita (Grw): relacionada às habilidades básicas de leitura e escrita utilizadas na compreensão da linguagem escrita e na expressão de pensamentos pelo ato de escrever.

5) Memória a curto prazo (Gsm): envolve a apreensão e o uso da informação em um curto período de tempo. A deficiência nesse fator é caracterizada pela dificuldade em recordar uma informação recém-adquirida.

6) Processamento visual (Gv): envolve a habilidade para processar estímulos visuais, incluindo gerar, perceber, armazenar, analisar, manipular, transformar imagens visuais.

7) Processamento auditivo (Ga): habilidade associada à percepção, análise e síntese de padrões sonoros. A habilidade Ga está ligada à discriminação de padrões sonoros (incluindo a linguagem oral) particularmente quando apresentados em contextos mais complexos, como, por exemplo, a percepção de nuances em estruturas musicais complexas. Essa habilidade cognitiva é fundamental para a realização de atividades envolvendo música, bem como para o desenvolvimento da linguagem. A deficiência nesse fator pode ser caracterizada por dificuldades em discriminar sons.

8) Armazenamento e recuperação a longo prazo (Glr): habilidade associada à fluência ou à facilidade com que idéias ou conceitos são recuperados, da memória de longo prazo por associação. Está ligada ao processo de armazenamento e fluência de recuperação posterior por associação. As deficiências nesse fator estão relacionadas à dificuldade de recordar informações importantes e aprender novas informações.

9) Velocidade de processamento (Gs): está relacionada à habilidade de realizar rapidamente tarefas comuns em um espaço de tempo pré-determinado. A deficiência nesse fator pode se apresentar pela lentidão em executar tarefas cognitivas de pouca dificuldade.

10) Velocidade de decisão/reação - tempo/velocidade (Gt): Está relacionada à rapidez em fornecer respostas corretas a problemas de compreensão e raciocínio.

Como este trabalho trata de fatores específicos da inteligência fluida (Gf), memória de curto prazo (Gsm) e velocidade de processamento (Gs), procurou-se enfatizar quais seriam as possíveis dificuldades que poderiam decorrer de baixos níveis nessas capacidades. Em relação ao raciocínio indutivo, dificuldades detectadas nessa capacidade implicariam dificuldade para generalizar regras, formar conceitos e observar implicações, dificuldade em reorganização, transformação e generalização das informações bem como dificuldade em raciocinar com conteúdos abstratos como a matemática. Já em relação à memória de curto prazo (Gsm), as dificuldades incidirão sobre a manutenção de informações recém-adquiridas tanto na modalidade auditiva quanto visual. Dificuldades de memória de curto prazo afetam grande parte do processamento de informação uma vez que a memória é uma estrutura mediadora das informações, interferindo de maneira geral no processamento.

Partindo-se das informações acima descritas sobre as dificuldades de aprendizagem e suas relações com as capacidades cognitivas, buscou-se levantar hipóteses sobre quais capacidades estariam associadas aos vários distúrbios de aprendizagem. Para isso utilizou-se o esquema de Pennington (1997) para definição dos distúrbios da aprendizagem. São apresentadas as relações entre as funções cerebrais (primeira coluna) e seus possíveis distúrbios (terceira coluna) segundo Pennington (1997). Na segunda coluna acrescentamos os fatores cognitivos que, de acordo com o modelo CHC, possivelmente estariam relacionados a essas funções (Tabela 1). Cabe salientar que essas relações foram baseadas em análises teóricas e necessitam investigação empírica para que possam efetivamente ser estabelecidas. Pode-se observar que o raciocínio indutivo (inteligência fluida) e a memória de curto prazo podem estar associados às funções executivas de processamento fonológico e à cognição espacial e, conseqüentemente, ao distúrbio do déficit de atenção, à dislexia e a distúrbios específicos da matemática.

Diante do exposto, o objetivo deste estudo é investigar a precisão e a validade de três testes informatizados de habilidades cognitivas, nomeadamente: raciocínio indutivo, memória de curto prazo auditiva e memória de curto prazo visual. Este trabalho busca demonstrar, para cada instrumento, as evidências de precisão por consistência interna, evidências de validade de construto e evidências de validade referente ao critério. A validade de construto foi efetuada pela análise fatorial dos três instrumentos e a validade de critério foi feita comparando os resultados nos instrumentos com avaliações externas independentes respondidas pelas professoras dos alunos da amostra.

O estudo de validade de critério pretende tornar mais evidentes as relações entre as habilidades avaliadas com eventuais dificuldades na vida escolar do grupo estudado, sobretudo nos aspectos relativos às funções executivas e às habilidades menos dependentes da linguagem e seus possíveis distúrbios, que são as funções nas quais se observa a presença mais saliente da inteligência fluida e da memória de curto prazo.

Método

Participaram deste estudo 70 estudantes de segunda a quarta séries do ensino fundamental de uma escola pública municipal de uma cidade do interior do Estado de São Paulo. Dentre os participantes, 52,9% eram do sexo masculino. Grande parte dos estudantes, 42,9%, estava na quarta série; 28,6% na terceira série e 28,6% na segunda série. A faixa etária dos participantes era de 7 a 12 anos, sendo a média 9,54 e desvio-padrão 1,08. Cabe salientar que as correlações entre os indicadores de distúrbios de aprendizagem e desempenho nos subtestes informatizados foram realizadas com base em 46 estudantes, cujos questionários foram devolvidos pelas professoras.

Material

Foi usado um teste informatizado, parte de um projeto em andamento do Laboratório de Avaliação Psicológica e Educacional (LabAPE) da Universidade São Francisco, cujo objetivo é desenvolver uma bateria informatizada de avaliação das habilidades cognitivas segundo o modelo CHC. Neste estudo serão utilizados três subtestes discriminados a seguir.

Raciocínio indutivo

O subteste de raciocínio indutivo (RI) é constituído de 35 itens que apresentam problemas de raciocínio analógico com figuras geométricas no formato de matrizes 3 X 3 com oito alternativas de resposta, sendo correta apenas uma. Na tela do computador são apresentadas à criança nove células da matriz com oito preenchidas (Figura 1). Nas duas primeiras linhas há uma seqüência completa e na terceira linha há uma seqüência incompleta com a última célula em branco. A criança deve escolher dentre as alternativas de resposta contidas na metade inferior da tela (oito alternativas) uma figura que complete corretamente. A criança responde clicando com o mouse sobre aquela que considera correta e que se move para o espaço em branco da matriz 3x3.

Os itens foram baseados no modelo desenvolvido por Primi (1995, 1998, 2002a, 2002b). Foram usados quatro fatores de complexidade podendo variar quanto ao (a) número de elementos (1,2,3 e 4); (b) número de regras (1, 2, 3 e 4); (c) tipo de regra variando dentro de cinco tipos (identidade e progressão pareada, progressão pareada e adição de figuras, distribuição de três valores, distribuição de três valores e progressão pareada, e distribuição de dois valores); (d) organização perceptual podendo ser harmônica ou desarmônica. Na Figura 1 é apresentado um item na forma como ele era visto pela criança na tela do computador. Uma discussão mais detalhada com exemplos explicativos sobre os fatores de complexidade pode ser encontrada em Primi (1998) e Santos (2002).

Inicialmente o critério de pontuação no teste de raciocínio indutivo foi dicotômico: acerto (1) ou erro (0). No entanto, como uma grande parte dos itens se mostrou difícil para a amostra estudada, decidiu-se pelo estabelecimento de outro critério que leva em conta três possibilidades: acerto (2), acerto parcial (1) e erro (0). Considerou-se como parcialmente correta uma entre as oito possibilidades de escolha que mais se aproximasse da resposta correta, efetuando-se uma análise das curvas características das alternativas com base na Teoria de Resposta ao Item. Detalhes desse método de análise podem ser encontrados em Santos (2002) e Ziviani e Primi (2002). O escore total foi obtido pelo somatório de pontos obtidos pelo sujeito. Outro elemento avaliado nessa prova foi o tempo de reação (TR), ou seja, o tempo transcorrido entre a apresentação do estímulo até a resposta emitida pelo sujeito. Para cada sujeito foi calculada a média do tempo de reação aos 35 itens do teste.

Capacidade de armazenamento de curto prazo

Foram criados dois conjuntos de tarefas para avaliar a memória de curto prazo. O subteste de memória de armazenamento autiditva (MAA) foi adaptado para aplicação informatizada do subteste de avaliação da memória da bateria multidimensional de inteligência infantil (BMI) criada por Schelini (2002). O subteste MAA é composto por 18 itens, três de cada extensão, significando o número de palavras a serem memorizadas, a saber 2, 3, 4, 5, 6 e 7 palavras (3X6= 18). A criança deve reproduzir palavras após tê-las ouvido no áudio do computador. Na parte inferior da Figura 2 é apresentada a ilustração de como a tela do computador aparece ao aplicador. Nesse subteste o aplicador controla a aplicação cuidando para que a tela do computador fique fora do campo de visão da criança.

No subteste MAA cada item é caracterizado por sua extensão entendida como o número de palavras apresentadas que deveriam ser memorizadas. A extensão variava, portanto, de 2 a 7, sendo que havia três itens diferentes para cada extensão, o que possibilitou a criação de três subtestes para cada extensão. Em uma forma de corrigir esse subteste, que produziu uma variável chamada "extensão", os sujeitos recebiam um ponto para uma dada extensão se acertassem pelo menos dois itens dos três apresentados com aquela extensão. O escore "extensão", portanto, indicava a extensão máxima de palavras que o sujeito conseguia lembrar. Outra forma de pontuar esse subteste, que produziu uma variável chamada "escore", indicava, simplesmente, o número de itens corretamente respondidos.

O subteste de Memória de Armazenamento Visual (MAV) constitui-se de 27 itens, 3 em cada extensão, a saber 2, 3, 4, 5, 6, 7, 8, 9 e 10 figuras (9X3=27). A criança observava na tela do computador uma matriz com um personagem extraterrestre (figura) que aparecia, durante quatro segundos, em posições aleatórias de uma matriz quadrada formando um padrão visual. Após os quatro segundos as figuras desapareciam e a criança devia recompor o padrão visual, clicando com o mouse nas células da matriz no local exato onde os estímulos tinham sido apresentados durante o tempo de exposição. Fazendo isso o estímulo reaparecia no local clicado. As matrizes iam aumentando progressivamente de tamanho iniciando com nove células (3X3) nas quais os extraterrestres poderiam formar configurações visuais aparecendo em duas ou três células, mudando para dezesseis células (4X4) nas quais os extraterrestres poderiam aparecer em configurações de quatro a seis células e, finalmente, chegando a 25 células (5X5) nas quais os extraterrestres poderiam aparecer em configurações de sete a dez extraterrestres. Na parte superior da Figura 2 há um exemplo de um item apresentado às crianças.

O critério de pontuação estabelecido para o subteste MAV foi o mesmo que o adotado para o subteste MAA. Uma única diferença existiu em relação à amplitude da extensão que no subteste MAA foi de 2-7 enquanto no subteste MAV foi de 2-10. Portanto, no subteste MAV foram também obtidos dois escores: "extensão" indicando extensão máxima da configuração na matriz que o sujeito conseguia lembrar e "escore" indicando simplesmente o número de itens corretamente respondidos.

Outra variável obtida se relacionava ao tempo de reação. Foram obtidas duas medidas: (a) TR1: correspondente ao intervalo de tempo em segundos transcorrido entre a apresentação da tela de resposta e a primeira resposta dada pelo sujeito e (b) TR2: correspondente ao intervalo de tempo transcorrido entre a primeira resposta dada até a última resposta. A primeira medida indica efetivamente o tempo de reação, isto é, o tempo que o sujeito demorou para iniciar sua resposta. A segunda medida indica quanto tempo o sujeito demorou para reconstruir o padrão visual memorizado na tela do computador, incluindo eventuais correções que ocasionalmente tenham ocorrido. A correção era possível já que se o sujeito clicasse em uma célula já preenchida ela voltava a ficar vazia. Esse recurso foi deliberadamente incluído no software como meio de obtenção de novas informações sobre o desempenho dos sujeitos.

Questionário de dificuldades escolares

Foi utilizado um questionário escolar desenvolvido por Lefévre (1989, p.41) para as professoras avaliarem a freqüência de um conjunto de dificuldades em uma escala de quatro pontos: (não apresenta - 0, apresenta ocasionalmente - 1, apresenta frequentemente - 2, apresenta muito - 3). Portanto, cada criança recebia de sua professora uma pontuação de 0 a 3 em cada item avaliado no questionário (ver itens na Tabela 7). Calculou-se também a pontuação total para cada criança, somando-se os pontos em todos os itens do questionário.

Procedimento

A aplicação dos testes foi feita individualmente com um tempo médio de 50 minutos para cada sessão. Iniciava-se a aplicação com a prova de memória de curto prazo auditiva, passando para a prova de memória de curto prazo visual e, por fim, para a prova de raciocínio indutivo. Cabe salientar que nas provas RI e MAV as crianças respondiam diretamente no computador, cabendo ao examinador apresentar as instruções no início da prova. Para parte da amostra pediu-se às professoras que respondessem ao questionário escolar de Lefévre (1989). Só fizeram parte do estudo as crianças cujos pais assinaram o termo de consentimento, concordaram em participar do estudo.

Resultados

A análise dos dados seguiu duas etapas. Na primeira, analisaram-se os instrumentos, utilizando os seguintes procedimentos: (a) análise das propriedades descritivas dos itens; (b) análise psicométrica com a utilização dos procedimentos clássicos e modernos (Teoria de Resposta ao Item) e (c) análise fatorial exploratória dos subtestes para verificar a estrutura fatorial subjacente. Em uma segunda etapa, realizou-se uma análise correlacional entre o desempenho atingido pelas crianças nos subtestes e a avaliação da professora no questionário escolar. Por fim, efetuou-se uma análise de variância tendo como variáveis dependentes as notas nos testes e variáveis independentes idade, série e gênero.

Raciocínio indutivo: análise de itens e consistência interna

São apresentadas as estatísticas descritivas e psicométricas dos itens do teste de raciocínio indutivo (Tabela 2). Na terceira e quarta coluna (escores dicotômicos) apresentam-se, respectivamente, o índice de dificuldade e a correlação do escore no item com o escore total. Nas cinco últimas colunas apresentam-se os resultados da aplicação do modelo de Rasch da Teoria de Resposta ao Item. Nessas colunas são apresentados: a estimativa do parâmetro de dificuldade (B), o erro-padrão desta estimativa (EP), o resíduo padronizado (Res), o qui-quadrado e a probabilidade associada, testando se a curva estimada pelo modelo se molda bem aos dados empíricos (em casos de ajuste a probabilidade do c² deve ser maior do que 0,05). Essas estimativas foram obtidas utilizando-se o software RUMM 2010 (Rasch Unidimensional Measurement Models, www.rummlab.com.au).

De modo geral, observa-se um conjunto de itens muito difíceis, o que pode ser verificado pela baixa proporção de acertos, indicando que parte dos itens é inadequada para a amostra testada (ver, por exemplo, os valores do ID1 dos itens I18. I19, I29, I32). Partindo desse resultado e considerando que as alternativas do teste de raciocínio indutivo foram elaboradas de forma a estarem sistematicamente mais próximas da alternativa certa, decidiu-se criar um novo sistema de correção oferecendo "meio-certos" quando o aluno errasse mas tivesse escolhido uma alternativa mais próxima da correta, do que se houvesse escolhido uma alternativa completamente errada. Para isso utilizou-se um recurso existente no software RUMM 2010 chamado análise de distratores (Em Ziviani & Primi, 2002, há um relato mais detalhado da utilização desse recurso na análise dos itens do Exame Nacional de Cursos aplicado aos alunos da Psicologia). Esse recurso cria curvas para cada alternativa de resposta possibilitando-se observar como a probabilidade de escolha está relacionada à habilidade (parâmetro theta). Essa análise foi feita em todos os itens determinando a melhor forma de atribuir escores às respostas, considerando simultaneamente o critério estatístico e o teórico. Os resultados dessa análise são apresentados nas colunas de cinco a nove da Tabela 2 (escores politômicos). Nela se encontram o índice de dificuldade (ID2, o número de pontos dividido pelo máximo possível), a proporção de escolha para cada escore (0: errado, 1: meio certo e 2: correto) e a correlação do escore no item com o escore total. Como se pode observar, as correlações são bem mais altas do que quando se utiliza a pontuação dicotômica original.

Como se pode verificar na Tabela 3, nos escores com o sistema de pontuação 0-1, os acertos variam de 1 a 20 com média 7,92. No novo sistema de pontuação 0-2, observou-se aumento no número de respostas corretas, variando de um mínimo de 8 a um máximo de 46. Vê-se claramente o ganho na consistência interna no novo sistema, passando de 0,667 no sistema dicotômico para 0,814 no sistema politômico. Na Tabela 3 também são apresentadas as estatísticas do tempo de reação. O tempo de reação indica o intervalo transcorrido entre a apresentação do item e a resposta final. Para cada aluno, calculou-se uma média do tempo de reação aos 35 itens constituindo uma nota que indicava o tempo de reação médio de cada aluno. Como se pode verificar esses escores variaram de 8,7 a 75,2s com média 21,2s e possuem uma consistência interna bastante elevada (Alfa= 0,95).

Memória auditiva e visual: análise de itens e consistência interna

Para memória auditiva existem dezoito itens com gradual aumento de dificuldade. Cada item foi composto de três repetições de uma mesma extensão que podia variar de duas a sete palavras. Por isso é possível criar três subtestes contendo seis itens em cada subteste, com um item de cada extensão. Para a memória visual são três repetições de cada extensão variando de 2 a 10, totalizando 27 itens. Por isso é possível criar três subtestes de nove itens em cada subteste, com um item de cada extensão. A análise de consistência interna considerou cada prova como sendo composta por três itens que, no caso, corresponde a cada um dos subtestes acima descritos. Os resultados são apresentados na parte superior da Tabela 4 nomeada "itens". Observa-se que as correlações dos subtestes com a nota total são bastante altas tanto nas provas de memória auditiva quanto visual. Nessa tabela também são apresentadas as médias e os desvios-padrão dos escores nos subtestes (Tabela 4).

Há também dois escores baseados no tempo de reação (TR1 e TR2) para o subteste de memória visual. O TR1 foi calculado com base no tempo de reação transcorrido entre a disponibilização do quadro para respostas até a primeira resposta, indicando a velocidade de resposta. O TR2 foi calculado com base no tempo transcorrido entre a primeira e a última resposta, indicando a rapidez com que o aluno utiliza o mouse na execução de sua resposta. Os escores para cada aluno foram calculados obtendo-se a média do tempo de reação aos itens. Para o cálculo da consistência interna, assim como foi feito nos escores baseados em acerto, foram calculadas três notas baseadas nos itens que formaram os subtestes mencionados acima. Como pode se observar na Tabela 4, as correlações entre os escores nos subtestes e nos escores totais também são altas nas medidas dos tempos de reação.

Na parte inferior da Tabela 4, nomeada "Escore", são apresentadas as estatísticas para os escores finais. Para as provas de memória auditiva e visual foram compostos dois escores, um através do número total de palavras ou figuras corretamente lembradas (chamado "escore") e outro através do cálculo da extensão máxima em que o sujeito conseguia lembrar. Por exemplo, para receber uma nota 5 no subteste de memória auditiva o aluno deveria repetir corretamente as cinco palavras em pelo menos duas das três oportunidades nas quais lhe eram apresentadas cinco palavras.

Como se pode verificar (Tabela 4), a capacidade de extensão de memória auditiva variou de um valor mínimo de 2 a um máximo de 6 palavras com média 3,8 e desvio-padrão 1,1. Quando se considera o número total de palavras lembradas o escore variou de um mínimo 20 e máximo 69 com média 37,3 e desvio-padrão 11,6. Para a memória visual a extensão oscilou de um mínimo de 2 a um máximo de 7 figuras com média 4,07 e desvio- padrão 1,24. Quando se considera o número total de figuras lembradas o escore variou de um mínimo de 69 ao máximo de 142 figuras, com média 103,13 e desvio-padrão 16,03. Os índices de consistência interna atingiram valores adequados, todos acima de 0,75, em todas as medidas obtidas nos testes de memória. É importante ressaltar que o alfa foi calculado com base no número de palavras lembradas e não com base nos escores de extensão.

Análise fatorial das medidas cognitivas

Utilizou-se o procedimento de análise fatorial hierárquica que extraiu três fatores primários e um fator geral explicando 77,6% da variância. O fator 1 agrupou as medidas de tempo de reação obtidas na prova de memória visual e pode ser interpretado como uma medida da rapidez do tempo de decisão. O fator 2 agrupou as medidas obtidas na prova RI e o fator 3 as medidas de memória. Apesar das especificidades das diferentes provas, existe um fator geral subjacente a todas as medidas (fatorsecundário) (Tabela 5 e 6).

Chamam a atenção as cargas fatoriais positivas do tempo de reação medido na prova de raciocínio indutivo. Podemos concluir que os alunos com maior capacidade nessa habilidade cognitiva tenderam a gastar mais tempo resolvendo os problemas do subteste RI do que os sujeitos com baixa capacidade, que tenderam a responder mais rapidamente. Já no que se refere à prova de memória visual, há uma inversão, já que aqueles com maior capacidade nessa habilidade cognitiva tendem a responder mais rapidamente, possuindo então um tempo de reação menor se comparados as crianças com níveis mais baixos. Sendo assim, a medida de tempo de reação, obtida no subteste RI, provavelmente esteja mais associada à persistência e à carga de processamento e as medidas de tempo de reação, obtidas no subteste MAV, mais associadas à velocidade de decisão.

Correlações das medidas cognitivas com indicadores de dificuldade de aprendizagem

Para análise das correlações entre as medidas cognitivas e os indicadores de distúrbios de aprendizagem, os itens da avaliação feita pela professora foram correlacionados com os escores nas provas cognitivas. Cabe lembrar que essa análise foi feita com os dados de 46 alunos, cujos professores responderam ao questionário escolar (Tabela 7). Além das correlações, apresentam-se também as estatísticas descritivas dos itens da escala de avaliação escolar por meio das porcentagens de crianças que receberam cada pontuação 0, 1, 2 ou 3 em cada item (colunas 2-6). Como se pode verificar, grande parte das medidas cognitivas obtidas na avaliação informatizada se correlacionaram com os indicadores de problemas de aprendizagem. Alunos com notas menores nos testes de raciocínio tendem mais freqüentemente a apresentar um leque de dificuldades específicas. Esses resultados evidenciam a validade das medidas estudadas do teste informatizado como indicadoras de dificuldades de aprendizagem.

Efeito da série e gênero nas medidas cognitivas

Para verificar se existiam diferenças nas medidas cognitivas em razão do gênero e série dos alunos, foram feitas várias análises de variância tendo série e gênero como variáveis independentes, e as medidas cognitivas como variáveis dependentes. Em relação ao gênero não existiu nenhuma diferença significativa no desempenho médio dos alunos em nenhuma das provas aplicadas. Em relação à série, embora seja observado um gradual aumento nos escores das provas com o aumento da escolarização, tais aumentos se tornam significativos apenas na prova de memória visual. Nessa prova a média para as segundas séries que é de 95,3 passa para 107,4 nas quartas séries (F[2,66]= 3,82, p= 0,02). Além disso, o tempo de resposta (TR1) diminui de 2,9 para 2,1 (F[2,66]= 6,7, p= 0,002), o que nos mostra um aumento dessa capacidade acompanhada do aumento da escolarização, tanto no que se refere à eficácia (acertos) quanto no que se refere à rapidez (tempo de reação), o que não pôde ser observado nas outras provas (raciocínio indutivo e memória auditiva).

Discussão e Conclusão

Este trabalho investigou a precisão e a validade de três testes informatizados de habilidades cognitivas. De modo geral, os instrumentos apresentam valores aceitáveis quanto à consistência interna. Uma ressalva deve ser feita ao subteste RI que se mostrou difícil para as idades avaliadas. Em estudos futuros, deve-se buscar construir itens mais fáceis para esse subteste. De qualquer forma, a versão atual corrigida com um esquema de acertos parciais possuiu alta consistência interna como os valores encontrados para os outros dois subtestes. Quanto à validade de construto, os três subtestes apresentaram também evidências favoráveis à organização em três fatores inter-relacionados, a saber: raciocínio indutivo, ligado à inteligência fluida (Gf), extensão de memória auditiva e visual, ligados à memória de curto prazo (Gsm) e tempo de reação ligado ao fator velocidade de decisão (Gt). Os subtestes estão também associados significativamente a variáveis externas independentes colhidas pelas professoras, caracterizando dificuldades que os alunos possuíam e resultando em evidências positivas de validade com referência ao critério.

Esses últimos resultados da validade de critério foram explorados à luz das associações esquematizadas do modelo de Pennington (1997) com o modelo CHC. A função executiva que vem sendo associada à área pré-frontal do cérebro está relacionada às capacidades presentes na memória de trabalho e funções correlatas, como planejamento, organização, atenção seletiva, controle inibitório (Primi, 2002c). Essa função é avaliada por tarefas ligadas à inteligência fluida (Gf) e memória de curto prazo (Gsm). Distúrbios nessa capacidade teriam como resultado distúrbio do déficit de atenção. Já a cognição espacial geralmente localizada no hemisfério direito posterior do cérebro é responsável pelas habilidades como localização e identificação de objetos, memória visual ou espacial e outros elementos do processamento visual. Essa função está relacionada às habilidades cognitivas que envolvem principalmente, o processamento visual (Gv), conhecimento quantitativo (Gq) e a inteligência fluida (Gf). Distúrbios relacionados a essa capacidade teriam como resultado dificuldades específicas com a matemática e com a escrita.

Nosso estudo revelou uma correlação significativa entre raciocínio indutivo e escrita (troca, inversão ou omissão de letras) já que quanto maior o desempenho em RI menor foram as dificuldades apresentadas pelos alunos nesse indicador. O mesmo é identificado em relação ao raciocínio indutivo e às dificuldades em cálculo. Também há uma correlação significativa entre memória de curto prazo visual e escrita (letra feia, trêmula, números mal feitos, sem ordem), isto é, os resultados mostraram que quanto maior o desempenho em MAV, menor é o número de dificuldades apresentadas pelos alunos nesse indicador. O mesmo é identificado em relação ao subteste MAV e dificuldades em cálculo. Embora com coeficientes de correlação mais baixos, a memória de curto prazo auditiva (MAA) apresenta coeficientes significativos que indicam uma associação com dificuldades de leitura (troca, inversão ou omissão).

É importante ressaltar que os resultados obtidos nesse estudo apontam que crianças com dificuldades de raciocínio tenderam a apresentar mais freqüentemente problemas de escrita (troca, inversão ou omissão de letras) e dificuldades em cálculo, sobretudo em aritmética. Se considerarmos ainda que o raciocínio indutivo está ligado à função cerebral executiva parece fazer sentido que crianças com dificuldades nessa habilidade tendam a exibir, com maior freqüência, os problemas acima descritos. Outro achado é que crianças com rebaixamento em memória de curto prazo visual apresentam, com maior freqüência, dificuldades ligadas à matemática (cálculos aritméticos) e escrita manual (disgrafia, números mal feitos, sem ordem). Também, nesse caso, se considerarmos que a memória de curto prazo visual está ligada ao fator de processamento visual e inteligência fluida (veja a correlação entre a prova MAV e RI) e mais às funções espaciais do que verbais, faz sentido observar a disgrafia e as dificuldades encontradas em aritmética.

Na prova de memória de curto prazo auditiva, embora os coeficientes de correlação entre as medidas cognitivas e a avaliação das professoras sobre dificuldades de aprendizagem sejam baixas, observam-se indicativos de que crianças com baixo desempenho no subteste MAA tenham mais freqüentemente dificuldades de aprendizagem e problemas de leitura (troca de letras, inversão, omissão). Entretanto, essas correlações, além de mais baixas, são semelhantes aos padrões indicados pelos subtestes MAV e RI.

Os resultados gerais indicam que os subtestes criados captam aspectos das capacidades cognitivas importantes para ajudar a entender as dificuldades de aprendizagem. Os resultados foram melhores, sobretudo, na prova MAV. Os resultados aqui obtidos encorajam o aprimoramento da pesquisa com os instrumentos bem como a criação de novos subtestes.

Recebido para publicação em 26 de setembro de 2003 e aceito em 11 de maio de 2005.

• Cattell, R.B. (1943). The measurement of adult intelligence. Psychological Bulletin, 40, 153-193.
• Carroll, J.B. (1993). Human cognitive abilities: A survey of factor-analityc studies New York: Cambridge University Press.
• Flanagan, D.P., McGrew, K.S., & Ortiz, S.O. (2000). The Wechsler Intelligence Scales and Gf-Gc Theory Boston: Allyn & Bacon.
• Flanagan, D.P., & Ortiz, S.O. (2001). Essentials of cross-battery assessment New York: John Wiley & Sons.
• Gardner, H. (1998). Inteligência: múltiplas perspectivas Porto Alegre: Artes Médicas.
• Horn, J.L., & Cattell, R.B. (1966). Refinement and test of the theory of fluid and crystallized general intelligences. Journal of Educational Psychology, 57 (5), 253-270.
• Lefévre, B.H. (1989). Neuropsicologia Infantil. São Paulo: Sarvier.
• McGrew, K.S., & Flanagan, D.P. (1998). The intelligence test desk reference (ITDR): Gf-Gc cross-battery assessment Needham Heihts: Allyn & Bacon.
• McGrew, K.S., & Flanagan, D.P. (1999). Introduction to the C-H-C Theory. Institute for AppliedPsychometricswww.iapsych.com (Acesso 20/01/2003).
• Nascimento, E. (2000). Adaptação e validação do teste WAIS - III para o contexto brasileiro (p.15). Tese de doutorado não-publicada, Universidade de Brasília.
• Pennington, B.F. (1997). Diagnóstico de distúrbios de aprendizagem São Paulo: Pioneiras Sociais.
• Primi, R. (1995). Inteligência, processamento de informação e teoria da gestalt: um estudo experimental Dissertação de mestrado não-publicada, Pontifícia Universidade Católica de Campinas.
• Primi, R. (1998). Desenvolvimento de um instrumento informatizado para avaliação do raciocínio analítico Tese de doutorado não-publicada, Instituto de Psicologia, Universidade de São Paulo.
• Primi, R. (2002a). Complexity of Geometric Inductive Reasoning Tasks: Contribution to the Understanding of the Fluid Intelligence. Intelligence, 30 (1), 41-70.
• Primi, R. (2002b). Avanços na concepção psicométrica da inteligência. Em: F. C. Capovilla (Org.). Neuropsicologia e aprendizagem: uma abordagem multidisciplinar (pp.77-86). São Paulo: Scortecci, Sociedade Brasileira de Neuropsicologia.
• Primi, R. (2002c). Inteligência Fluida: definição fatorial, cognitiva e neuropsicológica. Paidéia, 12 (23), 57-77.
• Primi, R. (2003). Inteligência: Avanços nos Modelos Teóricos e nos Instrumentos de Medida. Avaliação Psicológica, 2 (1), 67-77.
• Santos, M.A. (2002). Estudo inicial de um instrumento informatizado para avaliação do raciocínio e memória em crianças Dissertação de mestrado, não-publicada, Programa de Pós-Graduação Stricto Sensu em Psicologia, Universidade São Francisco, Itatiba.
• Schelini, P.W. (2002). Bateria multidimensional de inteligência infantil: proposta de instrumento Tese de doutorado. não-publicada, Programa de Pós-Graduação em Psicologia, Pontifícia Universidade Católica de Campinas.
• Wechsler, D. (2002). WISC-III Escala de inteligência Wechsler para crianças: manual São Paulo: Casa do Psicólogo.
• Ziviani, C., & Primi, R. (2002). Teoria de resposta ao item e o modelo de Rasch de mensuração: uma análise do provão de Psicologia. In: R. Primi (Org.). Temas em avaliação psicológica (pp.131-151). Campinas: IDB Digital/Instituto Brasileiro de Avaliação Psicológica (IBAP).

1

Artigo elaborado a partir de dissertação de M.A. SANTOS, intitulada "Estado inicial de um instrumento informatizado para avaliação do raciocínio e memória em crianças", Programa de Pós-Graduação em Psicologia, Universidade São Francisco, 2002.

Datas de Publicação

• Publicação nesta coleção
  01 Nov 2007
• Data do Fascículo
  Set 2005

Histórico

• Aceito
  11 Maio 2005
• Recebido
  26 Set 2003