Resumo O objetivo desta pesquisa foi averiguar as evidências de validade para a Escala de Atitudes frente à Estatística - EAEst. Este instrumento avalia as atitudes perante a Estatística a partir de um modelo tridimensional, que considera o conhecimento sobre a matéria (cognitivo), expressa um sentimento (afetivo) e um comportamento (comportamental). Para este fim, foi utilizada a EAEst, Likert de 5 pontos, com 24 itens. Participaram deste estudo 277 estudantes de ensino superior de ambos os sexos, com idades entre 18 e 54 anos (M = 24,1 e DP = 5,8). A fim de verificar a consistência interna do instrumento foi utilizada a Análise Fatorial Confirmatória, que sugeriu um modelo observável semelhante ao modelo teórico das atitudes. A confiabilidade foi verificada por meio do alfa de Cronbach (α = 0,908). Os resultados indicaram propriedades psicométricas satisfatórias. Sugere-se que estudos posteriores utilizem outros tipos de evidência de validade, como a de critério, e metanálises.

Abstract The aim of this research was to investigate the validity evidence for the Attitude scale towards Statistics, EAEst. This instrument measures the attitude towards Statistics using a three-dimensional model, which considers the knowledge about Statistics (cognitive), feelings (affective) and behaviors (behavioral) towards Statistics. To this purpose, the EAEst, Likert of 5 points and with 24 items was used. A total of 277 higher education students of both genders, aged 18 to 54 years old (M = 24.1 and SD = 5.8), participated in the study. In order to verify the internal consistency of the instrument, Confirmatory Factor Analysis was used, which suggested an observable model similar to the theoretical model of attitudes. Reliability was verified using Cronbach's alpha (α = 0.908). The results show satisfactory psychometric properties. It is suggested that further studies use other types of validity evidence, such as criterion and meta-analyses.

Resumo Esse estudo objetivou investigar o desempenho no Enade de estudantes bolsistas do Programa Universidade para Todos – ProUni da própria instituição e de estudantes com outros tipos de bolsas e, ainda investigar, por meio de Modelos de Equações Estruturais, se este desempenho se mantém para estudantes sob a condição de ingressantes e concluintes. Utilizou-se um banco de dados contendo os resultados de 401.117 estudantes que realizaram o exame do Enade em 2006, composto pelas provas de Formação Geral e de Conhecimento Específico. O mesmo modelo de equações estruturais foi utilizado para analisar os dados de estudantes ingressantes e concluintes. Os resultados obtidos indicaram que o modelo de mensuração dos estudantes bolsistas com relação às notas do Enade apresenta um ajuste razoavelmente bom e permite afirmar que o desempenho do estudante durante a graduação é inferior ao do momento de seu ingresso no Ensino Superior.

Abstract This study aimed to investigate the performance in the National Students Exam–Enade of students with scholarships ProUni (“University for all” Programme), with grants of the education institutions themselves and students with other types of scholarships, and also to investigate, through the Structural Equation Modeling, whether this performance is maintained under the conditions of freshmen and seniors. We used a database containing the results of 401,117 students who took the Enade exam in 2006, which is composed both of the General Formation and the Specific Knowledge tests. The same structural equation model was used to analyse the database of freshmen and seniors students. The obtained results indicated that the measurement model of the scholar students concerning the Enade grades provides a reasonably good fit and allows us to say that the student’s performance through graduation is poorer than the moment of their admission to College.

Avaliação em larga escala no contexto educacional tem por objetivo investigar as habilidades e competências do estudante na realização de tarefas acadêmicas. Um dos testes acadêmicos responsável por avaliar o conhecimento específico em distintas áreas do conhecimento é o Exame Nacional de Desempenho dos Estudantes – Enade, aplicado aos estudantes desde 2004. Desse modo, o presente artigo tem por objetivo avaliar as propriedades psicométricas da prova de Pedagogia do Enade, aplicada no ano de 2005, por meio do modelo de Rasch da Teoria de Resposta ao Item. Para tanto, foi utilizado um banco de dados contendo informações acadêmicas de 49.497 estudantes do curso de Pedagogia que realizaram o Enade em 2005. Como material utilizou-se as provas de Formação Geral e de Componente Específico, compostas por questões objetivas e dissertativas. Os resultados do estudo sugeriram itens com boas propriedades psicométricas, foi possível observar que os índices de dificuldade dos itens foram, em média, de dificuldade mediana. Quanto às pessoas, a maior parte evidenciou nível de habilidades compatíveis à dificuldade média dos itens (-0,14), indicando que a prova possui um nível de dificuldade semelhante ao nível de habilidade das pessoas. Ponderando a importância da avaliação educacional, estudos que possam averiguar a qualidade da avaliação do Ensino Superior são fundamentais considerando a relevância que o tema impõe para a construção de uma educação com melhores propriedades e reconhecimento no panorama sócio-político-econômico.

The large-scale assessment in the educational context aims at investigating the students’ abilities and competences to do college tests. One of the academic tests responsible for assessing the specific knowledge in different areas is the National Students Performance Exam – Enade given to students since 2004. This way, this article’s objective is to assess the psychometric properties of the 2005 Enade’s Pedagogy test via the Rasch model of the Item Response Theory. To do so, we used a database containing academic information of the 49.497 Pedagogy course students who took the Enade’s exam in 2005. The material used for the analysis consisted of the General Formation and the Specific Component Exams, both had objective and essay questions. The results of this study suggest items with good psychometric properties. The mean of the items difficulty indexes showed an overall median difficulty level. Regarding the students, most of them presented an abilities level that was comparable to the mean items difficulty (b=-0,14), indicating that both the exams difficulty levels and the students ability had a similar level. Reflecting on the importance of educational assessment, studies investigating the quality of higher education assessments are fundamental, taking into account the relevance of the subject when it comes to building up quality education and recognition within the social-political-economic scenario.

Este estudo objetivou equalizar uma prova acadêmica de Pedagogia com o ENADE via Teoria de Resposta ao Item. Utilizou-se um banco de dados contendo informações de 49.497 estudantes de Pedagogia que realizaram o ENADE em 2005 e um banco de dados contendo informações de 260 estudantes de uma Instituição de Ensino Superior - IES que realizaram uma prova de Pedagogia de um Programa de Avaliação Discente - PAD. Os resultados apontaram que o desempenho dos estudantes concluintes da IES na prova PAD obteve notas médias percentílicas semelhantes ao desempenho dos estudantes com conceito 2 que realizaram o ENADE em 2005. Os concluintes da IES que realizaram o PAD alcançaram notas médias semelhantes às notas médias dos concluintes com conceito 4 que realizaram o ENADE. Este trabalho é um pequeno recorte alusivo às teorias e técnicas de análise de dados, com o intuito de colaborar com esse contexto de estudo ainda em construção.

This study aimed to equalize a Pedagogical academic test based on National Performance Student Exam via Item Response Theory. We used a database containing information of 49,497 Pedagogy students that took the exam in 2005 and another database containing information of 206 students of a higher education institution, who took a Pedagogy test of a Student Assessment Program - PAD. The results indicated that de senior students' performance of the higher educational institution in the PAD's test presented average percentilic grades similar to the student's performance with concept 2 who took the exam in 2005. The senior students of the higher educational institution who took the PAD's test reached average grades similar to the grade of the senior students who obtained concept 2 in 2005. This work is a small sample alluding to equalization theories and techniques in order to collaborate to this study context.

Este estudio objetivó ecualizar una prueba académica de Pedagogía con el ENADE vía Teoría de la Respuesta al Ítem. Se utilizó una base de datos que contiene información de 49.497 estudiantes de Pedagogía que realizaron el ENADE en 2005 y una base de datos de 260 estudiantes de una Institución de Educación Superior - IES que realizaron una prueba de un Programa de Evaluación Discente - PAD. Los resultados mostraron que el rendimiento de los estudiantes de final de carrera de la IES en la prueba PAD alcanzó calificaciones medias percentílicas semejantes al rendimiento de los Estudiantes con concepto 2 que realizaron el ENADE. Los estudiantes del final de carrera de la IES que realizaron la prueba PAD alcanzaron calificaciones medias semejantes a los estudiantes de final de carrera con concepto 4 en el ENADE. Este trabajo es un pequeño recorte alusivo sobre las teorías y las técnicas de análisis de datos, con el objetivo de colaborar con ese contexto de estudio aún en construcción.

Esta pesquisa objetivou investigar as evidências de validade da versão informatizada de uma escala de atitudes frente à Estatística. Participaram deste estudo 35 estudantes de psicologia que cursavam a disciplina de estatística no primeiro semestre de 2010 de uma universidade particular do interior do estado de São Paulo, todos do período noturno, 82,9% do gênero feminino, com idades variando entre 17 e 56 anos (M=23; DP=9,3). Os estudantes responderam à escala de atitudes SASportuguês, composta de 33 itens, do tipo Likert de cinco pontos, nas versões informatizada e lápis-papel. Os alunos foram distribuídos aleatoriamente em dois grupos; o primeiro respondeu à versão lápis-papel e em seguida à versão informatizada, e o outro respondeu na ordem inversa. Os resultados indicaram uma correlação linear positiva significativa entre as duas versões da escala revelando validade da versão eletrônica. A versão lápis-papel da escala já apresentava evidências de validade comprovada em pesquisas anteriores.

This research aimed to investigate the validity evidences of an electronic version of an attitude scale towards statistics. A total of 35 psychology students taking Statistics classes during the first half of 2010 at a private university of São Paulo state participated in this study. All students studied in the night period, 82.9% were female, aged 17 to 56 (M=23,0;SD=9,3). The students answered the attitude scale SAS Português that consisted of 33 Likert items with five points, in both electronic and pencil-paper versions. The students were distributed randomly in two groups; the first answered the pencil-paper version followed by the electronic version, and the other answered in the inverted order. The results indicated a significant positive linear correlation between the two scale versions confirming the electronic version's validity evidences. The pencil-paper version scale had already presented validity evidences confirmed in previous studies.

O objetivo deste trabalho foi avaliar as atitudes de estudantes de Psicologia em relação a estatística, via modelo de créditos parciais da TRI, e suas relações com a autopercepção e desempenho em estatística. Uma amostra não aleatória de 361 estudantes de Psicologia, com idades de 18 a 65 anos, 81% mulheres e 53% do noturno, respondeu a um questionário de identificação e uma escala de atitudes. A escala é do tipo likert de quatro pontos e composta de 20 itens que expressam os sentimentos em relação a estatística, sendo dez positivos e dez negativos, e um item complementar, que verifica a autopercepção do universitário em relação ao próprio desempenho em estatística. Observou-se que a escala é fidedigna e válida para medir as atitudes. Os participantes apresentaram atitudes ligeiramente mais negativas do que positivas. Constatou-se a existência de correlações positivas e significativas entre atitude, desempenho acadêmico e autopercepção de desempenho.

The aim of this work was to assess psychology students' attitudes toward statistics trough credit partial model of IRT, and to identify the association among the students' attitudes, academic performance, and self-perception in Statistics. A not random sample of 361 Psychology students answered the identification questionnaire and the attitudes scale towards Statistics. The students aged 18-65, 81% were female and 53% from evening classes. The likert scale is composed of 20 items, ten positives and ten negatives, which express the feelings towards Statistics. There is one item which verifies the university student's self-perception towards its own performance in Statistics. It was observed that the scale was reliable and valid to measure attitudes. The students presented their attitudes slightly more negative than positive. It was noticed the existence of positive and significant correlations among attitudes, academic performance and performance self-perception.

O objetivo principal deste estudo foi o de verificar evidência de validade de construto de uma prova de compreensão em leitura de um texto com informações estatísticas em estudantes de Psicologia. Foram participantes 206 estudantes regularmente matriculados no curso de Psicologia, sendo 79,1% do gênero feminino, com idades variando de 17 a 54 anos, M = 25,9 e DP = 6,8; 82,5% do período diurno e noturno. Foi utilizada uma prova de compreensão em leitura formada a partir de um texto específico que envolve conceitos estatísticos. O instrumento foi aplicado coletivamente em uma sessão, em horários regulares de aula. Os resultados da análise fatorial com informação completa revelaram a predominância unidimensional para os itens da prova de leitura específica, explicando 24,8% da variância entre os itens. O coeficiente de fidedignidade avaliado pelo coeficiente de Kuder-Richardson, igual a 0,813, indicou que a prova apresenta uma boa precisão.

The aim of this research was to verify the construct validity evidences of a reading comprehension test composed of a text that included Statistics information. The participants were 206 undergraduate psychology students, 79.1% female, aged 17 to 54 years old, M = 25.9 years and SD = 6.8, 82.5% of them study in the day and night period. The research instrument was a reading comprehension test composed of a specific text that included Statistical concepts. This test was collectively applied during regular class time. The full information factorial analysis brings out that the specific reading test is predominantly unidimensional, and this dimension explains 24.8% of the items variance. The Kuder-Richardson' reliability coefficient of 0.813 indicated a good precision of the test.

El objetivo principal de este estudio fue verificar evidencia de validez de constructo de una prueba de comprensión en lectura de un texto con informaciones estadísticas en estudiantes de psicología. Participaron 206 estudiantes matriculados regularmente en el curso de Psicología, siendo 79,1% del sexo femenino, con edades variando de 17 a 54 años, P= 25,9 e DP = 6,8; 82,5% de los turnos vespertino y nocturno. Fue utilizada una prueba de comprensión en lectura formada a partir de un texto específico que envuelve conceptos estadísticos. El instrumento fue aplicado colectivamente en una sesión, en horarios regulares de clase. Los resultados del análisis factorial con información completa revelaron la predominancia unidimensional para los ítems de la prueba de lectura específica, explicando 24,8% de la variancia de los ítems. El coeficiente de fiabilidad evaluado por el coeficiente de Kuder-Richardson, igual a 0,813, indicó que la prueba presenta una buena precisión.

Este estudo objetivou comparar o nível de compreensão em leitura percebido por alunos de Psicologia, as estratégias de aprendizagem utilizadas na superação dos problemas encontrados, bem como verificar a real dificuldade de compreensão dos alunos para responder ao teste de Cloze . Participaram 178 universitários, sendo 113 do 1º ano e 65 do 4º ano. O procedimento foi aplicado numa única sessão e consistiu de (a) leitura de um texto científico da área, (b) questões sobre as dificuldades percebidas e sobre as estratégias utilizadas para a sua superação e (c) aplicação de um teste de cloze em texto similar ao primeiro, visando à avaliação da compreensão em leitura. Observou-se diferença estatisticamente significativa no nível de compreensão em leitura com superioridade dos alunos do 4º ano em relação aos do 1º ano. Contudo os alunos do 4º ano perceberam-se com maior dificuldade na compreensão do primeiro texto, embora a diferença entre as turmas não tenha sido significativa. Os tipos de dificuldades de compreensão apontadas e as estratégias utilizadas pelos alunos apresentaram diferenças qualitativas entre as turmas.

This study has aimed the comparison of reading comprehension levels and learning strategies used for overcoming eventual problems among Psychology students; as well as it verified the students’ real comprehension difficulties to answer the cloze test. 178 university students (113 from the 1st year and 65 from the 4th year) participated in this study. The procedure was applied in one single session and consisted by : (a) reading of the area scientific text; (b) questions about the realized difficulties and the used strategies to overcome the problem; and (c) the Cloze testing application , using a text similar to the first one, in order to evaluate reading comprehension. A significant statistical difference has been observed about the reading comprehension level , as the 4th year students have presented a better performance, compared to the students from the 1st year. The 4th year students acknowledged a greater difficulty in understanding the first text, although the difference between the two groups was not significant. The difficulty kinds and the strategies used by the students pointed out, qualitative differences between these groups.

Este trabalho objetivou avaliar o autoconceito de universitários em disciplinas de Estatística, e sua relação com o curso, turno, semestre, idade e gênero. Responderam um questionário de identificação e uma escala de autoconceito 116 estudantes de Psicologia e 32 de Pedagogia, com idades de 18 a 65 anos, 86% mulheres e 58% do noturno. A escala do tipo Thurstone com 21 itens permitiu classificar o autoconceito em rebaixado, adequado e elevado. Observou-se que 67% dos participantes possuem um autoconceito adequado. Os principais resultados permitem afirmar que há correlação positiva entre autoconceito e desempenho na disciplina estatística, embora não se saiba o quanto o autoconceito elevado contribuiu para um melhor desempenho do aluno. As limitações deste estudo sugerem a realização de outros sobre esse construto no âmbito acadêmico.

This study aimed to assess the university students’ self-concept in statistics course and its relation to academic area, period, semester, age and gender of the sample. An identification questionnaire and a self-concept scale were answered by 116 Psychology students and 32 Pedagogy students. The sample consisted of eighteen to sixty-five year-old, 86% female and 58% evening period students. The Thurstone scale with 21 items allowed classifying in low, appropriated and high self-concept. The analysis showed appropriated self-concept in 67% of participants. The principal results have revealed that there is positive correlation between self-concept and achievement in statistics course. On the other hand, it is not possible to state how the high self-concept contributed to a better student’s achievement. The limitations of this study suggested other studies related to this construct in the academic area of research.

Este estudo objetivou aplicar a Teoria de Resposta ao Item na análise das 15 questões de múltipla escolha de uma prova de estatística apresentada na forma de gráficos ou de tabelas estatísticas. Participaram 413 universitários, selecionados por conveniência, de duas instituições da rede particular de ensino superior, predominantemente do curso de Psicologia (91,5%). Os universitários foram 80% do gênero feminino e do período diurno (69,8%), com idades de 16 a 53 anos, média 24,4 e desvio padrão 7,4. A prova é predominantemente unidimensional e os itens são mais bem ajustados ao modelo logístico de três parâmetros. Os índices de discriminação, dificuldade e correlação bisserial apresentam valores aceitáveis. Os resultados mostram as dificuldades apresentadas pelos estudantes com relação aos conceitos matemáticos e estatísticos, dificuldades essas observadas em outras pesquisas desde o ensino fundamental. Sugere-se que esses conceitos sejam tratados mais profundamente no ensino superior.

This study aimed to use the Item Response Theory to analyze the 15 multiple-choice questions of a statistics test presented in the statistics graphics or tables form. The 414 university students were selected by convenience from two private universities, predominantly psychology students (91.5%). The university students were 80% female and with 16-53 years old, mean 24.4 and standard deviation 7.4. The test has predominantly one dimension and the items can be better fitting to the model of three parameters. The indexes of difficulty, discrimination and bisserial correlation presented acceptable values. The results indicate the difficulties of university students in the mathematic and statistic concepts, that difficulties are observed in the other studies since the elementary education. One suggests making more profound studies of these concepts in higher education.

Este estudo objetivou analisar as 18 questões (do tipo múltipla escolha) de uma prova sobre conceitos básicos de Estatística pelas teorias clássica e moderna. Participaram 325 universitários, selecionados aleatoriamente das áreas de humanas, exatas e saúde. A análise indicou que a prova é predominantemente unidimensional e que os itens podem ser mais bem ajustados ao modelo de três parâmetros. Os índices de dificuldade, discriminação e correlação bisserial apresentam valores aceitáveis. Sugere-se a inclusão de novos itens na prova, que busquem confiabilidade e validade para o contexto educacional e revelem o raciocínio estatístico de universitários ao ler representações de dados estatísticos.

This study aimed at to analyze the 18 questions (of multiple choice type) of a test on basic concepts of Statistics for the classic and modern theories. The test was taken by 325 undergraduate students, randomly selected from the areas of Human, Exact and Health Sciences. The analysis indicated that the test has predominantly one dimension and that the items can be better fitting to the model of three parameters. The indexes of difficulty, discrimination and biserial correlation present acceptable values. It is suggested to include new items to the test in order to obtain reliability and validity to use it in the education context and to reveal the statistical reasoning of undergraduate students when dealing with statistical data representation.

Este estudo teve como objetivo a construção e validação de uma Escala de Avaliação da Vida Acadêmica (EAVA) para captar a autopercepção do estudante sobre sua vivência universitária. Participaram 1.118 universitários, sendo 54% do gênero masculino, com idades variando de 19 a 62 anos (M = 25 anos e DP = 6 anos). Como resultado da análise fatorial, obteve-se uma escala de cinco fatores: ambiente universitário, compromisso com o curso, habilidade do estudante, envolvimento em atividades não-obrigatórias e condições para o estudo; cujos autovalores foram superiores a 1,0, explicando 43% da variância total. Os 34 itens da escala apresentaram cargas fatoriais superiores a 0,30 em todos os fatores. O coeficiente de Cronbach (alfa = 0,873) indicou uma boa consistência interna dos itens na avaliação do construto e na integração do estudante com a vida acadêmica. A consistência interna de cada sub-escala atingiu níveis aceitáveis, variando de 0,631 a 0,803.

This study aimed to construct and to validate a scale of academic life assessment to obtain the student's self-perception about the academic life. The scale was administered to 1,118 academic students aged 19 to 62 years (M = 25 years, SD = 6 years), and 54 percent of the students were male. The factorial analysis indicated a scale with five factors - academic ambient, course commitment, student's ability, involvement with non obligatory activities, and condition to the study - whose eigenvalues were larger than one, explaining 43 percent of the total variance. The scale included 34 items with factor loadings larger than 0.30, with a good internal consistency indicated by Cronbach coefficient (alpha = 0.873) to evaluate the construct - the students integration with the academic life. Each sub-scale's internal consistency level reached acceptable levels, ranging from 0.631 to 0.803.

A pesquisa teve como objetivo verificar quais os parâmetros psicométricos apresentados nos manuais de 19 instrumentos de avaliação da inteligência. Os elementos avaliados nos instrumentos foram: análise de itens, padronização, validade e precisão. Os resultados encontrados mostraram que, dos 19 testes avaliados, 89,5% apresentaram estudos de padronização, sendo que o procedimento mais utilizado na escolha dos sujeitos foi o não aleatório (62,2% dos testes). No que se refere à validade, a de construto foi a mais freqüente dentre os testes (94,7%). Observou-se que todos os instrumentos apresentaram verificação da precisão, sendo o método de consistência interna o mais aplicado (78,9%). Conclui-se que, embora os autores concordem que todos os testes devam realizar estudos de verificação dos parâmetros psicométricos e devam possuir normas regionais, tal prática ainda não se encontra totalmente difundida na avaliação psicológica brasileira,

This research aimed to verify the psychometric parameters presented in manuals of 19 intelligence tests. The psychometric properties included in the analysis were: item analysis, validity, reliability, and norms studies. The results indicated that 89.5% of the 19 tests presented norming studies. The procedure of sample selection was mostly non-random (62.2% of the tests). Construct validity was the most frequent method used among the studies (94.7%). All tests presented reliability studies, most of them using internal consistency coefficient (78.9%). It is concluded that although the authors agree that all tests need studies to verify psychometric parameters and studies to obtain regional norms this action isn’t divulged totally yet in the Brazilian psychological assessment.

A validade e a precisão de testes psicológicos vêm sendo bastante questionadas e discutidas atualmente. O presente estudo teve como objetivo avaliar a validade, a precisão e a existência de padronização brasileira em 43 testes psicológicos comercializados no Brasil, sendo 22 de inteligência e 21 de personalidade. Os testes foram comparados quanto ao período de publicação no Brasil. Os resultados indicaram que existe maior número de instrumentos publicados nas décadas de 1980 e 1990, que os testes de inteligência apresentam mais estudos de padronização, validade e precisão, embora não tenha havido diferença significante entre os grupos de testes (inteligência e personalidade). Novos estudos devem ser desenvolvidos com o intuito de promover os testes psicológicos e a área de avaliação psicológica, como um todo.

Nowadays, the validity and the reliability of psychological tests are being very questioned and discussed. The current study aims to evaluate the validity, the reliability and the existence of Brazilian standardization in 43 psychological tests commercialized in Brazil, being 22 of intelligence and 21 of personality. The tests have been compared concearning the publication period in Brazil. The results have indicated that there is a bigger number of instruments published in the 1980´s and 1990´s, that the intelligence tests present more studies of standardization, validity and reliability, even though there hasn´t been significant difference among the groups tests (intelligence and personality). New studies must be developed aiming to promote the psychological tests and the area of psychological assessment, as a whole.