Acessibilidade / Reportar erro

Análise do conteúdo das provas da área de Ciências Contábeis: edições do Provão 2002/2003 e do ENADE de 2006

Content analysis of evidence area accounting: issues Provão 2002/2003 and ENADE 2006

Resumo:

Este estudo tem dois objetivos. O primeiro é verificar se as provas da área de Ciências Contábeis do Provão de 2002/2003 e do ENADE/2006 incluíram os itens que representem adequadamente o domínio de conteúdo da área. O segundo objetivo é desenvolver uma análise crítica acerca destes testes de desempenho. Para tanto, empregou-se a técnica do grupo focal. Foram realizadas duas sessões de entrevistas junto a um grupo de especialistas da área, composto por docentes, estudantes de mestrado e doutorado. Os resultados evidenciam que na percepção dos participantes do grupo focal os exames podem ser considerados uma aproximação adequada do nível de conhecimento cognitivo da área, dado que os principais conteúdos foram avaliados pelos testes. Entretanto, na percepção dos participantes as questões dos testes não mensuraram adequadamente as habilidades, atitudes e comportamentos predeterminados pelas comissões de especialistas da área, nomeadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Os participantes apontaram que o baixo desempenho dos estudantes possa estar relacionado à reduzida motivação para resolver a prova.

Palavras-chave:
Contabilidade; Grupo focal; Provão; ENADE; Testes de desempenho

Abstract:

This study has two aims. The first is to search evidence whether the Provão of the 2002/2003 and ENADE/2006 in the area of Accountancy included all items that adequately represent the content domain of the area. The second aim is to do a critical analysis of these performance tests. We used the focus group technique to obtain these aims. "Two sessions of interviews were held, with the participation of experts, formed by teachers who are also másters and PhD students. The results show that participants' perception of the focus group tests can be considered an adequate approximation of the level of cognitive knowledge of the area, since the main contents were assessed by tests. However, in the participants' perception the questions tests not adequately measured the skills, attitudes and behaviors predetermined by committees of specialists, appointed by the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Participants noted that the low student performance may be related to reduced motivation to solve the proof.

Key words:
Accounting; Focus group; Provão; ENADE; Achievement tests

1 Introdução

O governo brasileiro instituiu no âmbito do sistema de avaliação da Educação Superior (ES) os testes padronizados de larga escala, também denominado como Achievement Tests, com a implantação do Exame Nacional de Cursos (ENC), conhecido como Provão, realizado entre 1996 e 2003. Posteriormente, em 2004, houve sua substituição pelo Exame Nacional de Desempenho de Estudantes (ENADE). Conforme o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), o ENADE é composto por dois blocos. O primeiro é o componente de Formação Geral (FG), que visa avaliar a formação do estudante como um profissional ético, competente e comprometido com a sociedade em que vive e sua capacidade para analisar, sintetizar, criticar, deduzir, construir hipóteses, estabelecer relações, fazer comparações, detectar contradições, decidir e organizar, trabalhar em equipe e administrar conflitos. O segundo é o componente de Conhecimento Específico (CE), que visa avaliar se os estudantes desenvolveram, no processo de formação, os conhecimentos, as habilidades e as competências predefinidas pelas comissões de especialistas da área, que se fundamentam nas Diretrizes Curriculares Nacionais de cada curso avaliado. Os alunos de todos os cursos fazem a mesma prova de Formação Geral.

Os estudantes dos cursos de graduação em Ciências Contábeis participaram do Provão, em 2002 e 2003, e do ENADE, em 2006 e 2009. Conforme dados do INEP (2003INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2002: relatório-síntese. 2003b. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/sintese/sintese2002.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/s...
, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
), a média geral dos estudantes dos cursos de Ciências Contábeis foi de 32,0, em uma escala de 0 a 100, nas edições do Provão de 2002 e 2003. No ENADE/2006 essa média geral, que inclui os estudantes considerados ingressantes e concluintes1 1 Ingressantes são os estudantes que cursaram o final do primeiro ano e os concluintes são os discentes que se encontram no final do último ano do curso. Esses grupos de estudantes foram submetidos à mesma prova no ENADE/2006. , foi de 44,1, na prova de Formação Geral (FG), e de 25,7, na prova de Conhecimento Específico (CE) (INEP, 2007bINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE 2006). Relatório Síntese: Ciências Contábeis. 2007b. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
). Nesse último componente, a média dos estudantes concluintes foi de 30,0. O desempenho da área de Ciências Contábeis Componente de Formação Geral no ENADE ficou à frente apenas da Administração (42,1). Além disso, seus discentes obtiveram a média geral mais baixa no Componente Específico, entre as 15 áreas2 2 Administração, Arquivologia, Biblioteconomia, Biomedicina, Ciências Contábeis, Ciências Econômicas, Comunicação Social, Design, Direito, Formação de Professores, Música, Psicologia, Secretariado Executivo, Teatro e Turismo. avaliadas em 2006. Esse desempenho da área está entre os piores se comparado às quinze áreas avaliadas em 2006 (INEP, 2007aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE/2006). 2007a. ENADE - ENADE - Resultados agregados. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
). Em 2009, a média geral obtida pelos estudantes concluintes da área no ENADE foi de 39,9, na prova de Componente Formação Geral, e de 32,6, no teste de Componente Específico (INEP, 2011). Observa-se que a média alcançada entre os estudantes concluintes de 2009 na prova de conhecimento específico da área permaneceu abaixo de 50,0.

Nas edições de 2002 e 2003 do Provão e de 2006 e 2009 do ENADE, os estudantes assinalaram suas impressões a respeito do exame. Em todos os casos apontaram dificuldades para responder as questões. As principais opções assinaladas para explicar seus desempenhos alcançados no Provão/2003 foram ter estudado a maioria dos conteúdos da prova, mas havia muito tempo e por isso já os haviam esquecido (34,4%), muitos desses conteúdos durante o curso, mas nem todos haviam sido bem apreendidos (44,2%) (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). No ENADE/2006 o cenário mudou, visto que somente 4,5% dos partícipes concluintes apontaram o desconhecimento do conteúdo como causa de seus resultados. Todavia, a forma diferente de abordagem do conteúdo em relação ao que se está habituado (41,1%) e a falta de motivação (35,4%) foram apontadas pelos concluintes como dificuldades para fazer a prova (INEP, 2007bINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE 2006). Relatório Síntese: Ciências Contábeis. 2007b. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
). Os percentuais relativos a esses aspectos no Provão/2003 foram de 50,6% e 18,8%, respectivamente, e no ENADE de 2009INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). ENADE 2009 - Relatório de curso: Fundação Universidade Federal de Viçosa. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 30/01/2011.
http://www.inep.gov.br/superior/ENADE/de...
foram de 45,4% e 25,5%, respectivamente (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
, 2011). Essas respostas podem ser interpretadas como indícios de possíveis problemas no processo de ensino, que podem ter interferido nos resultados obtidos nos exames, bem como possíveis diferenças na forma como os conteúdos foram abordados nos testes em relação à abordagem que o estudante estava habituado a ter durante o curso.

O baixo desempenho médio obtido pelos discentes da área e as dificuldades assinaladas pelos estudantes para responder as questões da prova são bastante preocupantes. Com base neste fato, este trabalho tem dois objetivos principais. O primeiro é verificar se as provas da área de Ciências Contábeis do Provão de 2002/2003 e do ENADE de 2006 incluíram os itens que representem adequadamente o domínio de conteúdo da área. O segundo é desenvolver uma análise crítica acerca dos testes. Para alcançar esses objetivos, foi empregada a técnica do grupo focal, com participação de um conjunto de especialistas formado por professores e estudantes de mestrado e doutorado em Ciências Contábeis de uma instituição de ensino superior, de destaque nacional. Os resultados evidenciam que na percepção dos participantes do grupo focal, os exames podem ser considerados uma aproximação do nível de conhecimento cognitivo da área porque os principais conteúdos foram avaliados pelos testes analisados, apesar de algumas limitações mencionadas. A análise dos resultados do grupo focal mostra também o perfil e a formação dos docentes podem fornecer indícios de problemas na formação do estudante da área, as questões dos testes não mensuraram adequadamente as habilidades, atitudes e comportamentos predeterminados pelas comissões de especialistas da área, nomeadas pelo INEP. Adicionalmente, o baixo nível de motivação para resolver as questões da prova também pode ser uma das causas do baixo desempenho do discente na prova.

Este trabalho está dividido em quatro seções, além desta introdução. Na segunda seção descrevem as características dos testes de desempenho acadêmico brasileiro. Na terceira seção são descritas as estratégias metodológicas utilizadas para desenvolver este estudo. A quarta seção apresenta e analisa os resultados obtidos, com base nas entrevistas feitas por intermédio do grupo focal. A quinta seção apresenta discussões e os comentários finais.

2 OS TESTES DE DESEMPENHO ACADÊMICO NA EDUCAÇÃO SUPERIOR NO BRASIL

Segundo Wood (1987WOOD, R. Achievement Tests. In: PSACHAROPOULOS, George (Ed.). Economics of education research and studies. 1nd ed. New York (USA): Pegarmon Press, p. 59-62, 1987.), os testes de desempenho são usados nos sistemas de ensino em diversos países. Para o autor, esses testes têm como propósito principal medir o que o estudante aprendeu. Podem ser empregados para selecionar estudantes ou para incentivá-los a estudar mais. De acordo com Ryans e Frederiksen (1955RYANS, David G.; FREDERIKSEN, Norman. Performance tests of educational achievement.In: LINDQUIST, E. F. Educational Measurement. 2 nd ed. Washington (USA): American Council on Education , p. 455-494, 1955.) esse tipo de prova é denominado teste de desempenho do achievement educacional. Os autores esclarecem que o termo teste de desempenho tem sido utilizado de forma relacionada às medidas de aptidão e de desempenho.

Esse tipo de teste foi institucionalizado pelo governo brasileiro na metade da década de 1990, por meio da Lei n. 9.131, de 24 de novembro de 1995, que criou o Exame Nacional de Cursos (ENCBRASIL. Lei n.º 9.131, de 24 de novembro de 1995, altera os dispositivos da Lei n.º 4.024, de 20 de dezembro de 1961, e dá outras providencias. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/L9131.htm > Acesso em: 2/08/2007.
http://www.planalto.gov.br/ccivil_03/lei...
). Este exame, conhecido como Provão, foi realizado entre 1996 e 2003 e pode ser considerado o marco inicial da implantação de um sistema de avaliação da educação superior no país. Além do ENC, posteriormente foram criados o Censo de Educação Superior (CES) e a Avaliação das Condições de Ensino (ACE), por meio de visitas de comissões externas às Instituições de Educação Superior (IES). A responsabilidade de realizar avaliações periódicas nas instituições e nos cursos de nível superior é do INEP, autarquia federal vinculada ao Ministério da Educação e do Desporto, atual Ministério da Educação (MEC). Esse processo tem o intuito de avaliar a qualidade e a eficiência das atividades de ensino, pesquisa e extensão.

Em 1996, o INEP iniciou a implantação do Provão com a aplicação da primeira prova para os cursos de Administração, Direito e Engenharia Civil. Até o término do exame em 2003, participaram do teste 26 áreas de conhecimento (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). A organização, elaboração e aplicação das provas desse teste ficaram a cargo do INEP em parceria com outras instituições. O ENC-Provão era anual e deveria incluir conteúdos mínimos, estabelecidos e informados previamente, para cada curso. A inclusão de conteúdos mínimos visava aferir os conhecimentos, competências e habilidades adquiridas pelos estudantes em etapa de conclusão dos cursos de graduação (INEP, 2002INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Avaliação da Educação Superior (DAES). Estudantes apontam melhorias na graduação. Brasília: INEP, 12 /12/2002. Disponível em:< Disponível em:http://www.inep.gov.br/imprensa/noticias/edusuperior/provao/news02_26.htm > Acesso em: 21/07/2010.
http://www.inep.gov.br/imprensa/noticias...
, 2003aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Comissão Especial de Avaliação da Educação Superior. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma proposta de avaliação da educação superior brasileira. Brasília: INEP , 08/2003a. Disponível em:<Disponível em:http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf > Acesso em: 07/08/2007.
http://www.unifesp.br/reitoria/orgaos/co...
). As provas podiam ser compostas por questões de múltipla escolha e discursivas ou provas constituídas totalmente por questões discursivas (INEP, 2003aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Comissão Especial de Avaliação da Educação Superior. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma proposta de avaliação da educação superior brasileira. Brasília: INEP , 08/2003a. Disponível em:<Disponível em:http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf > Acesso em: 07/08/2007.
http://www.unifesp.br/reitoria/orgaos/co...
). O modelo de prova adotado era de responsabilidade de cada Comissão de Cursos (INEP, 2003aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Comissão Especial de Avaliação da Educação Superior. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma proposta de avaliação da educação superior brasileira. Brasília: INEP , 08/2003a. Disponível em:<Disponível em:http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf > Acesso em: 07/08/2007.
http://www.unifesp.br/reitoria/orgaos/co...
).

A Lei n. 9.131 definia que o resultado da avaliação dos cursos deveria ser divulgado pelo MEC de modo amplo à sociedade. Esses resultados registrados no histórico escolar do estudante, na forma de uma escala de conceitos que ia de A até E. Os resultados do Exame e os relatórios de especialistas vinculados ao MEC serviram de base para a Câmara de Educação Superior (CES) deliberar a respeito do recredenciamento periódico das IES, de acordo com o estabelecido na Lei n. 9.131. Esta deliberação possibilitava o descredenciamento de cursos que, no entendimento da CES, não estivessem atendendo aos padrões de qualidade de ensino preestabelecidos pelo MEC. Por exemplo, cursos que obtivessem conceitos D e E nos últimos três exames poderiam ser fechados.

Além do Exame, cada estudante inscrito recebia com antecedência, em sua residência, um questionário-pesquisa, que deveria ser devolvido respondido no dia da prova, cujo objetivo era colher os dados socioculturais, socioeconômicos e expectativas do aluno em relação às características dos cursos, quanto aos seus recursos, instalações disponíveis, estrutura curricular e desempenho docente (INEP, 2003bINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2002: relatório-síntese. 2003b. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/sintese/sintese2002.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/s...
). Os estudantes também respondiam a um questionário de impressões logo após a prova, com o intuito de gerar informações que visavam ao aperfeiçoamento das próximas provas, particularmente em respeito à sua "[...] clareza e objetividade dos enunciados, adequação das informações fornecidas para a resolução das questões, adequação do tempo para a realização da prova e o nível de dificuldade e extensão da prova" (INEP, 2003a, p. 44INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Comissão Especial de Avaliação da Educação Superior. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma proposta de avaliação da educação superior brasileira. Brasília: INEP , 08/2003a. Disponível em:<Disponível em:http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf > Acesso em: 07/08/2007.
http://www.unifesp.br/reitoria/orgaos/co...
).

Em 2004, por meio da Lei n. 10.861, de 14 de abril de 2004, que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAESBRASIL. Lei n.º 10.861, de 14 de abril de 2004, institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providencias. Diário Oficial da União, n.º 72, Brasília- DF, seção 1, quinta-feira, 15 de abril de 2004.), o governo brasileiro fez alterações no processo de avaliação da ES e substituiu o ENC pelo Exame Nacional de Desempenho de Estudantes (ENADE), cuja periodicidade de aplicação é trienal para cada área de conhecimento. Ambos os exames visam auferir os conhecimentos, as habilidades acadêmicas e as competências profissionais, definidas previamente por diretrizes educacionais, desenvolvidas pelos seus estudantes ao longo do curso. Esses aspectos foram avaliados em diferentes estágios da vida acadêmica do aluno. No caso do Provão, o exame era aplicado aos estudantes de final de curso.

No caso do ENADE há duas diferenças importantes. A primeira é que dois grupos distintos de estudantes, em momentos diferentes de sua graduação, são selecionados por amostragem para participar da prova. O primeiro grupo, considerado ingressante, deve ter cursado até o final do primeiro ano. O segundo grupo, os concluintes, encontra-se no final do último ano do curso. Ambos os grupos respondem as mesmas questões. Esse procedimento permite que o ENADE possa avaliar a evolução do desempenho dos discentes ao longo do curso, no tocante aos conhecimentos, habilidades acadêmicas e competências profissionais.

A segunda diferença é que o ENADE é dividido em dois componentes: Formação Geral (FG) e Componente Específico (CE). As questões do componente de Formação Geral, comuns a todos cursos, buscam avaliar "a formação de um profissional ético, competente e comprometido com a sociedade em que vive" (INEP, 2007a, p. 7INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE/2006). 2007a. ENADE - ENADE - Resultados agregados. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
). As questões do componente de Conhecimento Específico buscam avaliar se os estudantes desenvolveram, no processo de formação, os conhecimentos, as habilidades e as competências predefinidas pelas comissões de especialistas da área, que se fundamentam nas Diretrizes Curriculares Nacionais de cada curso avaliado.

Verhine, Dantas e Soares (2006VERHINE, Robert Evan; DANTAS, Lys Maria Vinhaes; SOARES, José Francisco. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio, n. 52, v. 14, p.291-310, jul.-set. 2006.) ressaltam a importância dessas duas diferenças do plano conceitual do Provão em relação ao ENADE. Essas mudanças possibilitaram incluir nos resultados um indicador com o intuito de avaliar as diferenças de desempenho e as dificuldades entre os estudantes ingressantes e concluintes. Esse indicador objetiva verificar a trajetória ou a evolução de aprendizagem entre os estudantes de um mesmo curso, aproximando-se, assim, da noção de valor agregado do conhecimento. Entretanto, para os autores existe uma série de problemas com esse indicador como, por exemplo, realizar comparação do desempenho entre ingressantes e concluintes de um específico ano, pressupondo que os dois grupos são comparáveis. No caso do conteúdo das questões ou itens do ENADE, os autores destacam a relevância da construção de itens com qualidade adequada e a utilização de um número reduzido de questões, em especial relativo ao componente de Formação Geral.

Para elaboração das questões da prova e definir os objetivos desejados em relação aos atributos citados anteriormente o INEP vale-se de comissões de especialistas da área, formadas por professores com título mínimo de mestrado, nomeadas a cada ano pelo INEP. Como a prova de FG é única, apenas uma comissão é responsável por sua elaboração. Nesse contexto, ressalta-se que o uso de comissões de especialistas é mencionado por Verhine, Dantas e Soares (2006VERHINE, Robert Evan; DANTAS, Lys Maria Vinhaes; SOARES, José Francisco. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio, n. 52, v. 14, p.291-310, jul.-set. 2006.) como aspectos de similaridade entre o Provão e o ENADE.

Assim, com base na definição de Ryans e Frederiksen (1955RYANS, David G.; FREDERIKSEN, Norman. Performance tests of educational achievement.In: LINDQUIST, E. F. Educational Measurement. 2 nd ed. Washington (USA): American Council on Education , p. 455-494, 1955.) observa-se que exames como o Provão e o ENADE funcionam como instrumentos de medidas de padrões educacionais cujos objetos ou fenômenos que se pretende medir são os conhecimentos, as aptidões e o achievements individuais. Neste estudo, o termo achievement acadêmico será traduzido por desempenho acadêmico e será caracterizado, de acordo com Helmke e Schrader (2001HELMKE, A.; SCHRADER, F. W. School achievement: cognitive and motivational determinantes. In: BALTES, Paul B.; SMELSER, Neil J. (Ed.) International Encyclopedia of the Social & Behavioral Sciences, v. 6, Amsterdam: Elsevier Science, p. 13552-13556, 2001. Disponível em:< Disponível em:http://www.sciencedirect.com/science/referenceworks/9780080430768 > Acesso em: 28/08/2010.
http://www.sciencedirect.com/science/ref...
), como o resultado da aprendizagem cognitiva produzida pelo processo de instrução ou do conhecimento cognitivo que se pretende ensinar no contexto escolar. Para os autores, esses resultados cognitivos compreendem principalmente o conhecimento declarativo de como fazer e a habilidade individual para solucionar problemas e elaborar estratégias.

2.1 Os testes de desempenho acadêmico no curso de Ciências Contábeis no Brasil

O Provão da área, com duração de 4 horas, tanto em 2002 quanto em 2003, foi composto por 40 questões objetivas de múltipla escolha, com cinco opções de resposta, equivalendo a 60% do valor total da prova, e três questões discursivas, correspondendo aos 40% restantes. O ENADE de 2006 e de 2009, também foi composto por 40 questões. Os pesos para as questões de múltipla escolha e discursivas e a divisão de conteúdos em FG e CE foram iguais nos dois anos. Mas, o número de questões de CE foi alterado de 2006 para 2009, conforme pode ser visto no Quadro 1:

Quadro 1
Resumo das questões das provas do ENADE de 2006 e 2009 do curso de Ciências Contábeis

Com base nas Portarias Ministeriais n. 2.250BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 2.250, de 18 de outubro de 2001. Altera a Portaria Ministerial n. 1.983, de 10 de setembro de 2001, que designa os membros da Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em: <Disponível em: http://www.inep.gov.br/superior/provao.htm > Acesso em: 20/06/ 2010.
http://www.inep.gov.br/superior/provao.h...
, de 18 de outubro de 2001, e n. 3.187BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 3.187, de 20 de novembro de 2002. Designa os membros da Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao.h...
, de 20 de novembro de 2002, e do INEP n. 80, de (2006BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 80, de 29 de junho de 2006. Designa os membros da Comissão Assessora de Avaliação da Área de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
http://www.inep.gov.br/superior/ENADE.ht...
) e n. 83 (2009BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 83, de 20 de maio de 2009. Designa os membros das Comissões Assessoras de Avaliação das Áreas avaliadas em 2009. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/ 2011.
http://www.inep.gov.br/superior/ENADE.ht...
) pode-se notar, que todas as comissões responsáveis pela elaboração das diretrizes para o conteúdo das questões do conhecimento específico da área de Ciências Contábeis foram formadas por professores com título mínimo de mestrado, por representantes das diferentes regiões brasileiras e por distintos tipos de instituições. Além disso, um estudo desenvolvido pelo INEP analisou os projetos pedagógicos dos cursos sob avaliação para que a comissão estabelecesse as diretrizes de elaboração do exame (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
).

Ademais, foi possível verificar, por meio das diretrizes do Provão 2002/2003, estabelecidas pelas Portarias Ministeriais n. 3.018, de 21 de dezembro de 2001, e n. 3.818, de 24 de dezembro de 2002, que não aconteceram grandes alterações das diretrizes entre 2002 e 2003. Nota-se apenas maior detalhamento, das especificações do perfil almejado, competências e habilidades a serem avaliadas. Nas diretrizes dos anos do ENADE, estabelecidas pelas Portarias do INEP n. 121BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 121, de 28 de julho de 2006. Dispõe sobre as Diretrizes do ENADE de 2006 definidas pela Comissão Assessora de Avaliação da Área de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
http://www.inep.gov.br/superior/ENADE.ht...
, de 28 de julho de 2006, e n. 125BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 125, de 24 de junho de 2009. Dispõe sobre as Diretrizes do ENADE de 2006 definidas pelas Comissões Assessoras de Avaliação da Área de Ciências Contábeis e Formação Geral. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
http://www.inep.gov.br/superior/ENADE.ht...
, de 24 de junho de 2009, ocorreu o acréscimo referente ao componente da prova de FG. As principais mudanças ocorridas entre o Provão e do ENADE foram a inserção e o detalhamento maior do perfil e conteúdo do componente de conhecimento específico da área, que foram definidas pelas comissões.

Essas diretrizes foram a base para orientar os elaboradores das provas sobre a forma de cobrança dos conteúdos. Foi possível observar por meio da comparação de todos os testes que não havia nenhuma questão específica para avaliar a competência de expressão em língua portuguesa de forma adequada pelo aluno. Entretanto, nas questões discursivas, essa competência foi cobrada. A postura ética e os conteúdos de administração, economia e direito foram abordados em questões com enfoque contábil, mas de natureza interdisciplinar, tanto nos testes dos Provões bem como na edição do ENADE. Os conhecimentos de matemática e estatística foram cobrados na resolução de questões de outros temas. Desta forma, além de buscar verificar o conhecimento do conteúdo, cada questão foi desenvolvida para capturar um conjunto interdisciplinar de habilidades. Por exemplo, no Provão de 2002, em uma mesma questão foram cobrados conhecimentos em direito, ética profissional e também raciocínio lógico, análise e emissão de juízos críticos fundamentados para resolvê-la. Outro ponto observado foi que no Provão as questões de caráter técnico da área foram avaliadas em todos seus itens. No caso do ENADE essas questões de caráter técnico da área foram avaliadas apenas no componente de Conhecimento Específico.

2.2 Processo de validação dos testes de desempenho acadêmico na educação superior no Brasil do curso de Ciências Contábeis desenvolvido pelo INEP

Para Sampieri, Collado e Lucio (2006SAMPIERI, Roberto Hernández; COLLADO, Carlos Fernández; LUCIO, Pilar Baptista. Metodologia de Pesquisa. Tradução Fátima Conceição Mirad, Melissa Kassner, Sheila Clara Dystyler Ladeira, 3 ed. São Paulo: McGraw-Hill, 2006. , p. 287) "Toda medição ou instrumento de coleta de dados deve reunir dois requisitos essenciais: confiabilidade e validade". Para os autores o cumprimento desses requisitos é relevante para que a medição seja uma aproximação o máximo possível da realidade que se pretende medir. No caso do Provão e do ENADE os procedimentos de validação e confiabilidade podem fornecer indícios se as provas permitem coletar adequadamente, os conhecimentos, competências e habilidades adquiridas pelos estudantes dos cursos de graduação.

O INEP desenvolveu procedimentos para promover a validação e verificar a confiabilidade do Provão e do ENADE para todos os cursos. Os principais pontos foram relacionados à validade de conteúdo, ao índice de fidedignidade e à classificação das questões, conforme seus índices de facilidade e de discriminação (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). Tais procedimentos foram realizados nos Provões de 2002 e 2003. Entretanto, no relatório síntese do ENADE de 2006 o INEP divulgou somente os cálculos do índice de facilidade.

A validação do conteúdo da prova visa assegurar que o exame represente adequadamente o universo de conhecimentos e habilidades auferidos, bem como corresponda ao conteúdo ensinado durante o curso (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). Entre os procedimentos para validação do conteúdo da prova estão os critérios estabelecidos por meio das diretrizes de elaboração da prova, citados no tópico anterior. Assim, a prova deveria conter todos os elementos apontados nas diretrizes, visto que representavam apropriadamente o domínio de conteúdo das categorias a serem medidas. Desse modo, segundo o INEP, esses procedimentos e outras análises técnicas promovidas contribuiriam para a validade de conteúdo do exame. Portanto, por meio do instrumento, seria possível identificar as habilidades dos estudantes e os conteúdos relevantes e representativos dos estudantes participantes dos exames (INEP, 2003INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2002: relatório-síntese. 2003b. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/sintese/sintese2002.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/s...
, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
).

Além da validade de conteúdo, o INEP calculou os índices de confiabilidade, discriminação e dificuldade. Segundo Sampieri, Collado e Lucio, 2006SAMPIERI, Roberto Hernández; COLLADO, Carlos Fernández; LUCIO, Pilar Baptista. Metodologia de Pesquisa. Tradução Fátima Conceição Mirad, Melissa Kassner, Sheila Clara Dystyler Ladeira, 3 ed. São Paulo: McGraw-Hill, 2006. , o primeiro índice refere-se ao grau em que a aplicação repetida do instrumento pode gerar resultados semelhantes. Esse indicador foi avaliado pelo INEP com base no método de Kuder-Richardson (KR20) para as questões de múltipla escolha (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). O KR20 permite verificar a homogeneidade ou consistência interna do instrumento e pressupõe que a dificuldade para resolução diferente para cada questão. Conforme Haertel (2006HAERTEL, Edward H. Realiability. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education, p. 65-110, 2006.), quanto mais próximo de 1 (um) estiver o coeficiente de KR20 maior será a precisão da prova. O resultado do indicador KR20 calculado pelo INEP foi de 0,58 para as questões de múltipla escolha do curso de Ciências Contábeis no Provão de 2003. Este valor é considerado adequado pelo Instituto (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
).

O coeficiente α de Cronbach foi outro indicador empregado pelo INEP para avaliar a homogeneidade ou consistência interna das questões discursivas do instrumento. O valor obtido do coeficiente α de Cronbach no Provão de 2003 foi de 0,38 e indica que o nível de precisão das questões discursivas é menor do que as objetivas (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
). Ressalta-se que os índices de fidedignidade do Provão de 2002 não estão mais disponíveis no site do INEP, por isso não foram apresentados. Estes indicadores não foram informados nos relatórios do INEP referentes ao ENADE de 2006 e 2009.

O grau de dificuldade das questões também foi calculado pelo INEP. Esse procedimento, de acordo com Schmeiser e Welch (2006SCHMEISER, Cynthia B.; WELCH, Catherine J. Test development. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education , p. 307-353, 2006. ), é utilizado para avaliar individualmente os itens que compõem o teste e o teste como um todo. O índice de facilidade ou de dificuldade representa o grau de acerto dos estudantes que tentaram solucionar uma questão de múltipla escolha. Está compreendido no intervalo de 0 a 1. Seu valor é 1 quando todos os estudantes acertaram a questão e 0 no caso de todos erraram a questão (SCHMEISER; WELCH, 2006SCHMEISER, Cynthia B.; WELCH, Catherine J. Test development. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education , p. 307-353, 2006. ). Se índice for igual a 1, significa que a questão é fácil. Para questões de múltipla escolha, o INEP adotou as proporções de acertos que a questão teve para calcular o índice de dificuldade.

Conforme Schmeiser e Welch (2006SCHMEISER, Cynthia B.; WELCH, Catherine J. Test development. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education , p. 307-353, 2006. ) existe uma direta e invariante relação entre as médias obtidas com a proporção de itens considerados difíceis. Os autores afirmam que o índice de discriminação mede o quanto uma questão é capaz de distinguir entre os estudantes com alto desempenho daqueles com baixo desempenho. O indicador de dificuldade interfere nesse índice porque, se a questão for muito fácil (difícil), o seu poder de discriminar será baixo (alto), pois a probabilidade de o aluno acertá-la será alta (baixa). O INEP informa no relatório do Provão de 2003 e do ENADE de 2006 o índice de discriminação tanto para as questões de múltipla escolha quanto para as discursivas (INEP, 2004INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
, 2007aINSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE/2006). 2007a. ENADE - ENADE - Resultados agregados. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
). O índice de discriminação do Provão de 2002 não é apresentado em virtude de o relatório síntese do curso de Ciências Contábeis não estar mais disponível no site do INEP. Este indicador não foi informado no relatório do INEP referente ao ENADE de 2009.

Apesar desses procedimentos realizados pelo INEP, entretanto, verificou-se que os índices de confiabilidade apresentados não alcançaram valores aceitáveis (KR20'= 0,58 e α de Cronbach= 0,38), conforme o parâmetro usual de valor acima de 0,70 (FIELD, 2009FIELD, Andy. Descobrindo a estatística usando o SPSS. 2. ed. São Paulo: Artmed, 2009.). Entretanto, para este autor, é preciso cautela na interpretação do valor do α de Cronbach porque o aumento ou diminuição no número de questões e de proporção do nível de acerto pode elevar ou diminuir o valor do α. Desta forma, os valores obtidos desses indicadores podem ser reflexo do nível de dificuldade do estudante em relação ao conteúdo cobrado, conforme mencionado anteriormente sobre os pontos assinalados no questionário de impressões a respeito do exame. Esse contexto indica que somente os indicadores de confiabilidade e de dificuldade não podem ser considerados conclusivos em relação à abrangência e ao tipo de abordagem dada aos conteúdos de conhecimento específicos da prova. Tendo em vista este quadro, este estudo visa contribuir com a validação de conteúdo dos testes, por meio do emprego de outra metodologia, o grupo focal.

3 ESTRATÉGIAS METODOLÓGICAS

Para Vianna (2003VIANNA, Heraldo Marelim. Avaliações nacionais em larga escala: analises e propostas. Estudos em Avaliação Educacional, Bauru, n. 27, p. 41-76, jan.-jun. 2003.) os instrumentos utilizados nas avaliações em larga escala no Brasil nem sempre atendem as características adequadas, em especial em relação à validade de conteúdo e à de predição. O autor aponta a não representatividade amostral dos conteúdos e das capacidades, bem como as deficiências técnicas na construção das questões como problemas preocupantes na elaboração de avaliações que sejam representativas da diversidade cultural brasileira. Da mesma forma, conforme Sampieri, Collado e Lucio (2006SAMPIERI, Roberto Hernández; COLLADO, Carlos Fernández; LUCIO, Pilar Baptista. Metodologia de Pesquisa. Tradução Fátima Conceição Mirad, Melissa Kassner, Sheila Clara Dystyler Ladeira, 3 ed. São Paulo: McGraw-Hill, 2006. , p. 289), "a validade de conteúdo refere-se ao grau em que um instrumento reflete um domínio específico de conteúdo do que se mede". Para os autores, um instrumento de medida somente terá validade de conteúdo se incluir ou abranger todos os itens que representem o domínio do conteúdo das variáveis ou constructos a serem medidos. Tendo em vista os pontos elencados por estes autores e principalmente o quadro apontado na seção anterior, fica latente a necessidade de uma verificação adicional relativo a validade de conteúdo dos exames de avaliação no Brasil. Portanto, para verificar se as provas incluíram todos os itens necessários que representem adequadamente o domínio de conteúdo da área na época, optou-se por desenvolver entrevistas junto a professores e estudantes de mestrado e doutorado especialistas na área, por meio da realização de grupos focais. Este procedimento é descrito nesta seção. A escolha por realizar entrevistas junto a docentes e estudantes de mestrado e doutorado especialistas na área, por intermédio de grupos focais encontra-se respaldada no trabalho de Schmeiser e Welch (2006SCHMEISER, Cynthia B.; WELCH, Catherine J. Test development. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education , p. 307-353, 2006. ). De acordo com os autores, uma forma de obter evidências empíricas sobre a validade do conteúdo seria identificar junto aos professores (que representem uma amostra representativa de cursos que estão sendo avaliados), quais são os assuntos mais relevantes que os estudantes devem aprender ao longo do curso.

As entrevistas foram realizadas por meio da técnica de focus group ou grupo focal. Morgan (1988MORGAN, David L. Focus groups as qualitative research. Qualitative research methods. Series 16. Newbury Park(USA): Sage Publications., 1988. ) classificou grupo focal como um tipo de entrevista estruturada promovida com um grupo de pessoas, que pode ser útil para o propósito exploratório de novas áreas de pesquisa ou para esclarecer melhor a perspectiva de seus participantes em relação a achados já observados em outros estudos. Neste estudo, o objetivo do uso do grupo focal foi coletar evidências que pudessem auxiliar na validação de conteúdo das duas edições do Provão e do ENADE e para desenvolver análise crítica acerca desses instrumentos.

Após estabelecer o objetivo do grupo focal, seu planejamento e sua execução basearam-se nas recomendações de Morgan (1988MORGAN, David L. Focus groups as qualitative research. Qualitative research methods. Series 16. Newbury Park(USA): Sage Publications., 1988. ) e Krueger e Casey (2000KRUEGER, Richard A.; CASEY, Mary Anne. Focus groups: a practical guide for applied research. 3rd ed. Thousand Oaks(USA): Sage Publications, Inc., 2000.), com relação ao número de sessões, número de participantes, tópicos a serem discutidos, recursos para o registro das sessões e nível de envolvimento do moderador e dos observadores. Para participar das sessões do grupo focal foram convidados os estudantes vinculados a um tradicional programa de mestrado e doutorado em Ciências Contábeis, com mais de 40 anos de atividade, avaliado com nota 6 na avaliação trienal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). A escolha destes participantes fundamentou-se no fato destes formarem um conjunto de especialistas e estudiosos da área de ciências contábeis, que atuavam, na época, como profissionais e docentes em todas as regiões do país. Desse grupo, participaram docentes vinculados a IES de diferentes tipos de categorias administrativas e de organização acadêmica. Estas características são uma garantia da heterogeneidade do grupo de especialistas.

O convite para participar das sessões foi enviado aos mestrandos e doutorandos do Programa por e-mail. Vinte e dois estudantes aceitaram o convite, dos quais 17 puderam participar das duas sessões. Cada participante recebeu com antecedência cópias das provas (Provão 2002BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 3.018, de 21 de dezembro de 2001. Dispõe sobre as Diretrizes do Provão de 2002 definidas pela Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2002/Contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
, 2003BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria Ministerial n. 3.818, de 24 de dezembro de 2002. Dispõe sobre as Diretrizes do Provão de 2003 definidas pela Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
; ENADE, 2006INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE/2006). 2007a. ENADE - ENADE - Resultados agregados. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
) e de material com a descrição dos conteúdos, habilidades e competências que cada questão do teste pretendia medir. Esse procedimento é fundamental para que os participantes soubessem com precisão o conteúdo dos exames. Esse material também serviu como subsídio para a escolha prévia do conjunto de integrantes para cada sessão, pois as questões contidas nos exames foram organizadas por áreas ou disciplinas específicas. Assim, buscou-se que em cada sessão houvesse um conjunto de integrantes que fosse especialista nessas áreas de conhecimento e/ou disciplinas, para atender o objetivo do grupo focal e os critérios estabelecidos pelo INEP para definir a comissão da área.

Foram realizadas duas sessões, nos dias 26/04/2011 e 02/05/2011. A primeira contou com nove participantes e segunda com oito. Cada sessão contou com a presença adicional de dois observadores, que efetuaram anotações dos pontos relevantes, convergentes e divergentes levantados na discussão entre os partícipes. As duas sessões foram registradas em vídeo e áudio. Foi solicitada aos envolvidos uma autorização de cessão de direitos autorais, para que o material coletado pudesse ser usado nesta pesquisa, com garantia de anonimato. Neste trabalho os participantes, são identificados por uma letra, escolhida aleatoriamente. A sessão é identificada por um número. Por exemplo, o código A1 indica que o indivíduo "A" participou da primeira sessão do grupo focal. O sumário do perfil dos participantes está descrito no Quadro 2.

Quadro 2
Descrição do perfil dos participantes das sessões do grupo focal

A condução das sessões ficou sob a responsabilidade do moderador. Tendo em vista os objetivos do trabalho, foram escolhidos os seguintes temas para as discussões: (i) existência do Conteúdo nos projetos ou estrutura curricular dos cursos e sua abrangência na prova; (ii) abordagem dada aos conteúdos nas provas; (iii) relevância dos conteúdos para formação do estudante; (iv) nível de dificuldade e de compreensão do conteúdo em relação a resolução da prova; (v) habilidade, atitudes e comportamentos que o conteúdo busca medir. A escolha dos temas serviu como diretriz para a elaboração de questões feitas aos participantes, com objetivo de auxiliar o moderador no direcionamento dos pontos discutidos durante as sessões. Esses tópicos foram previamente estabelecidos com a finalidade de alcançar os objetivos de coletar evidências para validação de conteúdo das duas edições do Provão e do ENADE e para desenvolver análise crítica acerca desses instrumentos.

O papel do moderador na condução das sessões, na medida do possível, foi de facilitador da discussão. Para desempenhar essa tarefa deixou que os participantes expusessem livremente suas opiniões, independentemente se estas foram de caráter consensual ou de forma divergente. Entretanto, quando julgado necessário, o moderador fazia interferências, visando inserir tópicos considerados relevantes no debate, ou para direcionar e aprofundar a discussão de determinados temas, sem interferir nas respostas dadas pelos participantes.

Após cada sessão de grupo focal, os relatos de seus participantes foram transcritos, o que resultou em um total de 44 páginas. Para ajudar na transcrição e interpretação do conteúdo das discussões, foi utilizado o software NVivo, versão 9. Os temas relevantes para este estudo serviram como base para identificar no texto a contribuição de cada participante. A interpretação desse material fundamentou-se nas contribuições de Morgan (1988MORGAN, David L. Focus groups as qualitative research. Qualitative research methods. Series 16. Newbury Park(USA): Sage Publications., 1988. ), Dillon e Barclay (1997DILLON, Gadis J.; BARCLAY, Lizabeth A. Student focus groups as an assessment technique: a case study. Journal of Accounting Education, v. 15, n. 3, p. 457-468, 1997.) e Krueger e Casey (2000KRUEGER, Richard A.; CASEY, Mary Anne. Focus groups: a practical guide for applied research. 3rd ed. Thousand Oaks(USA): Sage Publications, Inc., 2000.), cujas principais recomendações são: (i) tratar cada grupo como uma unidade de análise; (ii) definir previamente os tópicos e utilizá-los como categorias ou temas, que auxiliam a sumarizar os relatos dos participantes e a organizar os resultados por assunto ou categoria; (iii) considerar a opinião do indivíduo (contexto do participante) e do grupo como um todo, observando o consenso dos relatos e suas possíveis divergências; (iv) comparar possíveis opiniões consensuais entre os grupos; (v) reconhecer a limitação dos achados, visto que podem ser únicos para cada instituição. No próximo tópico, será descrita a análise do grupo focal.

4 ANÁLISE DAS SESSÕES DO GRUPO FOCAL

Como mencionado anteriormente, os procedimentos relativos ao grupo focal foram realizados para promover a validação de conteúdo das duas edições do Provão e do ENADE/2006 e fazer uma análise crítica sobre esses instrumentos. Um sumário das percepções dos participantes será apresentado a seguir, separados com base nos tópicos mencionados anteriormente e, quando foi possível, conforme a ordem em que esses tópicos foram inseridos e debatidos nas sessões de grupo focal. Além disso, essas percepções serão descritas conforme divergências e convergências de opinião entre os participantes da mesma sessão e entre membros das duas sessões.

a) Existência do conteúdo nos projetos ou estrutura curricular dos cursos e sua abrangência na prova:

Houve consenso entre os participantes dos dois grupos focais de que a maioria dos conteúdos contidos nas provas de 2002, 2003 e 2006 foi contemplada na estrutura curricular de seus cursos. Uma justificativa usada pelo participante B1 para a convergência de opiniões entre os partícipes foi "[...] as diretrizes curriculares, estabelecidas pelo INEP". Todavia, os discursos foram diferentes quando questionados se, na época de cada prova, esses conteúdos foram contemplados na estrutura curricular de seus cursos e, de fato, ministrados pelos professores no dia a dia de sala de aula. .Esta divergência pode ser exemplificada pelo relato do partícipe C1 do primeiro grupo.:

Bom, nessa época do Provão eu era aluno. Percebo que existe sim uma diferença em termos de conteúdo, qualidade da prova. Você vê que no Provão, muito do conteúdo que está no Provão eu não vi na minha instituição. Agora, já no ENADE eu consegui vislumbrar isso. (Participante C1)

O participante C1 citou ainda como exemplo a disciplina de Teoria da Contabilidade: era contemplada no currículo do curso, mas o professor ministrou outro conteúdo em sala de aula. No segundo grupo focal destacaram-se os relatos de E2 e A2, respectivamente:

Na minha universidade eles não passariam nas questões de Contabilidade Societária. As questões do basicão, essas de estoque, contabilidade básica, princípios contábeis, todas essas tranquilo. Eu imagino. Sinto que sim. Mas, a parte de societária, pelo que eu senti, analisando mais o Provão 2002 e o ENADE 2006. Então, nos dois eu acho que ainda, tanto lá como agora" (gesto de negativa com a cabeça). "Na minha universidade teriam dificuldades, nossos alunos. (Participante E2)

Agora falando de instituições [privadas] que formam o grande número de contadores, que é diferente da "XXX3 3 A participante cita o nome de uma tradicional Universidade, omitida por questões de confidencialidade. ", etc. O que acontece, no projeto está tudo contemplado. Na prática não está. Na prática o aluno não conseguiria fazer isso (a prova). E só consegue porque tem o esforço das instituições, isto eu falo de várias delas, das maiores. De dizer o seguinte, é Provão, então essa turma que vai ser submetida ao Provão vai ter que ser treinada para fazer Provão. Existe uma política. (Participante A2)

Com base nas respostas dadas pelas participantes, foi questionado a E2 se a estrutura curricular do seu curso continha a disciplina de Contabilidade Societária, e para A2, se o fato relatado também ocorreu na época do ENADE. As respostas foram as seguintes: [E2], "Não existia antes e agora existe. Mas, eu acho que talvez a forma como a disciplina está sendo trabalhada os alunos teriam dificuldades nas questões relativas a Contabilidade Societária"; e [A2], "[...] de todos os instrumentos de avaliação". A visão do participante C2 corroborou a opinião de A2 quando expôs que, apesar de sua instituição não ter essa política de treinar os alunos para fazer os exames, essa prática parece ser bem difundida entre as IES, conforme lhe foi relatado por outros colegas de trabalho. Diante do relato de A2, o participante B2 questionou, ao final da sessão, a eficiência dos exames, e sugeriu que a prova promovida pelo Conselho Federal de Contabilidade (CFC) poderia ser a solução para o problema de preparar os alunos e servir como balizador da qualidade dos cursos.

Outros pontos consensuais observados entre os membros de ambas as sessões foram que: os conteúdos avaliados pelos exames nos dois Provões e no ENADE passaram a ser conteúdos ensinados nos cursos; as estruturas curriculares dos cursos geralmente contemplaram os tópicos cobrados nos exames; e, pelo menos um dos conteúdos predefinidos pelas comissões de especialistas do curso, nomeadas pelo INEP, foi identificado e avaliado na maioria das questões. Para exemplificar esse último ponto, é importante mencionar o relato dos partícipes F1 e D2. Para F1 a questão 32 do ENADE/2006 apenas avaliou o assunto Análise de Custos, apesar de estabelecer que os estudantes deveriam ser avaliados quanto ao conjunto de conteúdos de Análise de Balanços, Análise de Custos e Ética. Além da questão 32, na segunda sessão, o participante D2 citou as questões 31 e 33 do ENADE/2006, que deveriam avaliar Ética, mas, na sua percepção, isso não aconteceu. O partícipe A1 sugeriu uma análise adequada dos conteúdos das questões para que fosse feita uma reclassificação das categorias de conteúdos predeterminadas no relatório do INEP. Os demais participantes da primeira sessão do grupo focal concordaram com a sugestão dada pelo partícipe A1 por que entenderam que, em alguns casos, o conjunto de conteúdos proposto excede ao que de fato a questão está avaliando.

Verificou-se a inexistência de consenso entre os participantes do grupo focal ao serem indagados se as questões abrangiam os postos-chaves dos assuntos avaliados nos exames. Um exemplo desta divergência é a opinião de C1, que considera que as questões de contabilidade pública não cobriram os seus postos-chaves. Entretanto, para A1 e B1, os postos-chaves do conteúdo de Contabilidade Geral foram contemplados nas questões sobre esse assunto. Opinião semelhante foi manifestada por G1 em relação à área de Auditoria. Todavia, para D1, E1 e I1, as questões de Contabilidade Gerencial concentraram-se no conteúdo de Contabilidade de Custos. Apesar desses comentários e de reconhecerem a limitação do número de questões, os participantes das duas sessões de grupo focal concordaram que, de forma geral, as provas avaliaram os principais conteúdos das Diretrizes Curriculares Nacionais da área.

b) Abordagem dada aos conteúdos nas provas:

Notou-se que em ambas as sessões ao longo da discussão os participantes tentaram classificar as questões. Na primeira sessão, as questões foram classificadas como "mais analíticas" e de caráter "técnico ou como fazer". Na segunda sessão, alguns dos termos usados foram "técnico", "análise crítica" e "decoreba". Durante a primeira sessão, essa classificação também foi utilizada para identificar a abordagem dada pelo professor para ministrar a disciplina e o enfoque geral do curso. Na segunda sessão foi empregada essa classificação apenas para as questões da prova. O significado geral dado pelos participantes ao termo "técnico" foi de como fazer ou na condição do estudante para solucionar um problema prático da área e no fato de o docente ensinar o discente a como agir ou de fazer, para desempenhar uma determinada função ou resolver um problema. Os participantes consideraram os termos "mais analítico" e "análise crítica" como a necessidade de se fazer reflexões, ponderações e julgamentos para, depois, tomar a decisão adequada para solucionar a questão. E a palavra "decoreba", de clara conotação negativa, foi empregada para classificar as questões como fácil ou que permitem ao estudante solucioná-las com base nos conhecimentos memorizados.

Os participantes da primeira sessão ressaltaram que em alguns casos a abordagem dada a esses conteúdos pelos professores em sala de aula pode ser diferente do modo como são avaliados nos exames. Nesse contexto, destaque-se a afirmação de E1 "[...] eu me lembro quando eu estava na graduação o enfoque era mais análise e não era tanto como fazer. Talvez na aula o professor dê enfoques diferentes, dependendo do conteúdo". Em contraste com a percepção de E1, houve consenso entre os participantes da primeira sessão que, se o conteúdo foi ministrado pelo docente, os estudantes deveriam ser capazes de responder às questões apresentadas nos exames, independentemente de existir diferenças na abordagem dada aos conteúdos pelos professores em sala de aula em relação ao enfoque dado as questões. Mas, de acordo com o questionário de impressões, respondido pelos discentes um dos problemas para responder às questões foi a diferença na forma de abordagem do conteúdo em relação ao que estavam habituados. No Provão/2003 e no ENADE/2006, os percentuais para esta resposta foram, respectivamente, 50,6% e 41,1% dos respondentes (INEP, 2004, p. 51INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
http://www.inep.gov.br/superior/provao/d...
; 2007b, p. 73INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE 2006). Relatório Síntese: Ciências Contábeis. 2007b. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
http://www.inep.gov.br/superior/ENADE/de...
).

Nas duas sessões do grupo focal os participantes relataram situações por eles vivenciadas para destacar a relevância do papel do corpo docente do curso como fator explicativo para as diferenças na abordagem dada aos conteúdos pelos professores em sala de aula em relação ao enfoque dado as questões. Para o participante do grupo focal I1, a formação e as escolhas feitas pelos docentes definem qual abordagem será dada ao conteúdo na sala de aula. A formação do professor e o seu perfil foram apontados pelo partícipe C2 (tendo como base sua própria instituição) como elementos relevantes em relação à existência do conteúdo na estrutura curricular do curso, ao enfoque dado às questões dos exames e à realidade da sala de aula. Nesse contexto, C2 expôs que houve esforço do corpo de docentes de sua instituição para colocar em prática em suas aulas a abordagem dada aos conteúdos nas questões, em especial do ENADE de 2006. Entretanto, para C2, a formação do professor dificultou a operacionalização dessa abordagem e "...talvez para muitos, essas questões, nessa forma como são estruturadas realmente é meio assustador". A participante A2 acrescentou o elemento que denominou de "condição de mercado": a realidade da prática em sala de aula, visto que, do seu ponto de vista, existem instituições particulares em que os professores são orientados a ministrar o conteúdo de forma que "[...] o aluno fique agradavelmente situado na sala de aula. Então, existe um interesse em atender às expectativas emocionais do aluno e não do conteúdo".

Outro ponto levantado pelos participantes da primeira sessão foi a evolução ou o processo de transição pelo qual cursos de sua instituição passaram em relação à formação de seu corpo docente. O participante F1 expôs que, após a implantação da pós-graduação strito sensu, e pelo fato de os docentes doutores ministrarem aulas na graduação, houve uma mudança no enfoque dado ao conteúdo, de técnico para mais analítico, no curso em que foi estudante. O partícipe B1 concordou com F1, e relatou que, na sua instituição, o curso passou por uma importante mudança, já que o corpo docente era estritamente prático, horista e vinculado às empresas, e após o ingresso de professores com titulação de mestrado, obtido em outras IES, ocorreu mudança de um enfoque prático para uma abordagem mais gerencial, "[...] nível de análise mesmo, mais amplo".

c) Relevância dos conteúdos para a formação do estudante:

Na primeira sessão, houve consenso geral entre os participantes de que os conteúdos contidos nas provas de 2002, 2003 e 2006 foram relevantes para a formação do estudante da área. Os participantes da segunda sessão não abordaram este tema, por isso não foi possível explorar esse ponto.

d) Nível de dificuldade e de compreensão do conteúdo em relação à resolução da prova:

Os participantes de ambas as sessões concordaram que, de forma geral, as questões dos exames não foram difíceis e também foram de fácil compreensão, desde que tivessem sido expostos aos conteúdos avaliados.

Apesar desse consenso, os participantes de ambas as sessões buscaram indicar alguns aspectos que podem ter levado os estudantes a ter dificuldades para solucionar as questões. Na primeira sessão, o participante C1 afirmou que as questões cuja abordagem é mais analítica podem ser difíceis para os estudantes habituados a aulas estritamente práticas. Para I1, a dificuldade de alguns estudantes pode se originar de problemas na sua formação anterior à graduação. Para A1, o desempenho do aluno pode estar muito relacionado à sua motivação para resolver a prova. Um estudante desmotivado eventualmente pode ter assinalado a mesma resposta para todas as questões objetivas. Relativamente à motivação, o participante H1 ressaltou a importância do trabalho de orientação e conscientização dos estudantes sobre as consequências e a relevância de se obter um bom resultado nos exames. Na segunda sessão, para os participantes F24 4 O participante ressaltou que tem dez anos de experiência docência em IES particulares. e A2, a resolução das questões pode ser difícil em razão das limitações advindas do ensino médio entre os estudantes das IES particulares. Para G2, o estudante pode ter dificuldades de interpretação do contexto da questão em virtude do uso de termos técnicos específicos, adotados por determinados autores, e cita o exemplo do termo "Gastos" como um conceito técnico que, dependendo do autor, pode ter significados diferentes.

e) Habilidade, atitudes e comportamentos que o conteúdo busca medir:

Este tema foi objeto de recorrentes menções por parte dos participantes da segunda sessão. De forma geral, na opinião dos partícipes não foi possível relacionar as habilidades avaliadas com o que foi proposto pela maioria das questões. Por exemplo, o participante C2 citou o exemplo da questão 37 do ENADE de 2006, pois, em sua opinião, "(...) não há uma relação entre essas habilidades que se propõem para a questão, como a questão que foi colocada".

De forma geral, os participantes das duas sessões concordam que foi cobrado dos alunos um excesso de habilidades para a maioria das questões e os exames como um todo. Por exemplo, para o partícipe F2, o número de habilidades propostas aumentou ao longo do tempo, visto que, em 2002, houve uma prudência maior dos elaboradores do exame, já que o número de habilidades avaliadas foi menor. Contudo, a partir de 2003, teve início um processo de acrescentar habilidades, sem relacioná-las adequadamente com o conteúdo central que a questão deveria avaliar. Por exemplo, para o partícipe C2, o principal enfoque dado às questões propostas nos exames foi aplicar a legislação. Na primeira sessão, foi ressaltado que o número de habilidades tinha sido superestimado diante da quantidade limitada de questões. O participante G1 sugeriu o estabelecimento de uma definição operacional do termo habilidades, para sua adequada determinação.

A inserção de mais questões discursivas na prova foi a sugestão dada por E2, para que determinadas habilidades propostas possam de fato ser avaliadas. Na primeira sessão de grupo focal, o participante D1 salientou que seria difícil avaliar tantas habilidades por meio de provas com o predomínio de questões objetivas. Por este motivo acha mais adequado que seja feita uma revisão das habilidades propostas. Questões do tipo estudo de caso foram sugeridas pelo participante H1 como forma alternativa, para que determinadas habilidades possam ser avaliadas.

Por fim, apesar das limitações mencionadas, com base na interpretação dos relatos dos participantes, observa-se que os conteúdos avaliados nas edições de 2002 e 2003 e do Provão e de 2006 do ENADE, podem ser entendidos como uma aproximação adequada do conhecimento, especialmente o técnico, da área de Ciências Contábeis. Para os participantes da primeira sessão, essas provas podem passar por aprimoramentos, particularmente o ENADE. Na segunda sessão, o participante F2 avaliou que houve um esforço dos responsáveis pela elaboração das provas para melhorar suas questões, comparando-se a evolução das provas do Provão de 2002 e 2003 para o ENADE de 2006. Todavia, para os participantes das sessões de grupo focal cabe ainda um esforço adicional, durante o processo de elaboração do ENADE, para analisar se as questões estão de fato avaliando todos os conteúdos predeterminados e as habilidades estabelecidas pelas comissões de especialistas do curso, designadas pela comissão assessora do INEP.

5 DISCUSSÕES E CONSIDERAÇÕES FINAIS

Os dois objetivos do estudo são verificar se as provas da área de Ciências Contábeis do Provão de 2002/2003 e do ENADE/2006 incluíram os itens que representam adequadamente o domínio de conteúdo da área e desenvolver uma análise crítica acerca dos testes. Para alcançar esses objetivos, foi empregada a técnica do grupo focal para realizar entrevistas junto a um conjunto de especialistas formado por professores e estudantes de mestrado e doutorado. Este procedimento, diferente daqueles empregados pelo INEP, permitiu coletar evidências para auxiliar na validação de conteúdo e a desenvolver análise crítica acerca dos testes analisados.

A principal evidência obtida com base na análise das entrevistas foi que na percepção dos participantes do grupo focal houve consenso que os exames podem ser considerados uma aproximação adequada do nível de conhecimento cognitivo da área. O principal fundamento dessa afirmação é que os conteúdos mais relevantes e que foram definidos nas Diretrizes Curriculares Nacionais da área foram contemplados nas avaliações, apesar das limitações apontadas nas sessões.

A análise do grupo focal forneceu indícios importantes de que possíveis medidas de qualidade do professor podem estar associadas ao desempenho dos estudantes. Isso pôde ser observado por meio das experiências individuais relatadas pelos participantes, com relação às IES em que estudaram ou trabalharam. Os participantes dos grupos focais ressaltaram os seguintes pontos:

(i) docentes que não ministraram os conteúdos predeterminados pela estrutura curricular do curso, como por exemplo, a disciplina de Teoria da Contabilidade;

(ii) pressão para os professores abordarem conteúdos mais fáceis, de forma a tentar reduzir a evasão do curso;

(iii) a abordagem dada aos conteúdos e aos procedimentos pedagógicos usados pelos docentes (em razão de seu perfil e de sua formação) podem ter refletido negativamente no desempenho acadêmico dos discentes nas avaliações externas.

O desconhecimento do conteúdo foi citado nos relatórios do INEP do Provão de 2003 e do ENADE/2006 como uma das justificativas dos estudantes para não responder às questões discursivas. Esse problema assinalado pelos estudantes também foi levantado pelos participantes do grupo focal, como foi mencionado anteriormente no ponto (i). Essas evidências são inquietantes e parecem indicar problemas na formação do estudante da área. Cabe mencionar que, no relatório do curso do ENADE/2006, elaborado pelo INEP, foi mencionado que algumas observações sobre a dificuldade de resolver as questões discursivas foram apontadas pelos estudantes, mas apenas a análise mais detalhada dessas observações e das respostas das questões discursivas poderia apontar a razão desse baixo desempenho.

Há concordância entre estudantes e participantes do grupo focal, quanto à existência de deficiências técnicas na construção das questões tanto nas provas dos Provões bem como na edição do ENADE. Os estudantes informaram que uma dificuldade enfrentada para a resolução das questões foi a diferença entre a abordagem dada ao conteúdo em relação ao que estavam habituados. Os participantes do grupo focal também mencionaram esta divergência, ressaltando o perfil do professor e sua formação como um possível fator explicativo de tais diferenças.

Os participantes consideraram que houve aprimoramentos na elaboração do ENADE de 2006, comparativamente às edições do Provão de 2002 e 2003. Entretanto também ressaltaram a existência de deficiências. A principal deficiência mencionada foi que os exames não mensuraram adequadamente as habilidades, atitudes e comportamentos predeterminados pelas comissões de especialistas da área, nomeadas pelo INEP. Além disso, os participantes do grupo focal mencionaram que o baixo desempenho dos discentes na prova pode ser explicado pelo reduzido nível de motivação e pela ausência de estímulos individuais para resolver de forma correta e cuidadosa as questões da prova.

Este trabalho procurou fazer uma reflexão crítica sobre a qualidade dos testes usados pelo governo no processo de avaliação dos cursos da Educação Superior, em especial da área de Ciências Contábeis. Concluindo, espera-se que trabalho tenha sido apresentada uma contribuição para o desenvolvimento de uma metodologia (com o emprego de grupos focais) que possa contribuir para a validação do conteúdo desses testes.

REFERÊNCIAS

  • BRASIL. Lei n.º 9.131, de 24 de novembro de 1995, altera os dispositivos da Lei n.º 4.024, de 20 de dezembro de 1961, e dá outras providencias. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/L9131.htm > Acesso em: 2/08/2007.
    » http://www.planalto.gov.br/ccivil_03/leis/L9131.htm
  • BRASIL. Lei n.º 10.861, de 14 de abril de 2004, institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providencias. Diário Oficial da União, n.º 72, Brasília- DF, seção 1, quinta-feira, 15 de abril de 2004.
  • BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 2.250, de 18 de outubro de 2001. Altera a Portaria Ministerial n. 1.983, de 10 de setembro de 2001, que designa os membros da Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em: <Disponível em: http://www.inep.gov.br/superior/provao.htm > Acesso em: 20/06/ 2010.
    » http://www.inep.gov.br/superior/provao.htm
  • BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 3.018, de 21 de dezembro de 2001. Dispõe sobre as Diretrizes do Provão de 2002 definidas pela Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2002/Contabeis.htm > Acesso em: 20/06/2010.
    » http://www.inep.gov.br/superior/provao/diretrizes/2002/Contabeis.htm
  • BRASIL. Ministério da Educação (MEC). Portaria Ministerial n. 3.187, de 20 de novembro de 2002. Designa os membros da Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao.htm > Acesso em: 20/06/2010.
    » http://www.inep.gov.br/superior/provao.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria Ministerial n. 3.818, de 24 de dezembro de 2002. Dispõe sobre as Diretrizes do Provão de 2003 definidas pela Comissão de Avaliação do Curso de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
    » http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 80, de 29 de junho de 2006. Designa os membros da Comissão Assessora de Avaliação da Área de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
    » http://www.inep.gov.br/superior/ENADE.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 121, de 28 de julho de 2006. Dispõe sobre as Diretrizes do ENADE de 2006 definidas pela Comissão Assessora de Avaliação da Área de Ciências Contábeis. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
    » http://www.inep.gov.br/superior/ENADE.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 83, de 20 de maio de 2009. Designa os membros das Comissões Assessoras de Avaliação das Áreas avaliadas em 2009. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/ 2011.
    » http://www.inep.gov.br/superior/ENADE.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Portaria INEP n. 125, de 24 de junho de 2009. Dispõe sobre as Diretrizes do ENADE de 2006 definidas pelas Comissões Assessoras de Avaliação da Área de Ciências Contábeis e Formação Geral. Disponível em:<Disponível em:http://www.inep.gov.br/superior/ENADE.htm > Acesso em: 21/04/2011.
    » http://www.inep.gov.br/superior/ENADE.htm
  • DILLON, Gadis J.; BARCLAY, Lizabeth A. Student focus groups as an assessment technique: a case study. Journal of Accounting Education, v. 15, n. 3, p. 457-468, 1997.
  • FIELD, Andy. Descobrindo a estatística usando o SPSS. 2. ed. São Paulo: Artmed, 2009.
  • HAERTEL, Edward H. Realiability. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education, p. 65-110, 2006.
  • HELMKE, A.; SCHRADER, F. W. School achievement: cognitive and motivational determinantes. In: BALTES, Paul B.; SMELSER, Neil J. (Ed.) International Encyclopedia of the Social & Behavioral Sciences, v. 6, Amsterdam: Elsevier Science, p. 13552-13556, 2001. Disponível em:< Disponível em:http://www.sciencedirect.com/science/referenceworks/9780080430768 > Acesso em: 28/08/2010.
    » http://www.sciencedirect.com/science/referenceworks/9780080430768
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Avaliação da Educação Superior (DAES). Estudantes apontam melhorias na graduação. Brasília: INEP, 12 /12/2002. Disponível em:< Disponível em:http://www.inep.gov.br/imprensa/noticias/edusuperior/provao/news02_26.htm > Acesso em: 21/07/2010.
    » http://www.inep.gov.br/imprensa/noticias/edusuperior/provao/news02_26.htm
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Comissão Especial de Avaliação da Educação Superior. Sistema Nacional de Avaliação da Educação Superior (SINAES): bases para uma proposta de avaliação da educação superior brasileira. Brasília: INEP , 08/2003a. Disponível em:<Disponível em:http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf > Acesso em: 07/08/2007.
    » http://www.unifesp.br/reitoria/orgaos/comissoes/avaliacao/sinaes.pdf
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2002: relatório-síntese. 2003b. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/sintese/sintese2002.htm > Acesso em: 20/06/2010.
    » http://www.inep.gov.br/superior/provao/sintese/sintese2002.htm
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Relatório do Exame Nacional de Cursos 2003: ciências contábeis. v. 6, 2004. Disponível em:< Disponível em:http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm > Acesso em: 20/06/2010.
    » http://www.inep.gov.br/superior/provao/diretrizes/2003/ciencias_contabeis.htm
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE/2006). 2007a. ENADE - ENADE - Resultados agregados. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
    » http://www.inep.gov.br/superior/ENADE/default.asp
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Diretoria de Estatística e Avaliação da Educação Superior (DEAES). Exame Nacional de Desempenho de Estudantes (ENADE 2006). Relatório Síntese: Ciências Contábeis. 2007b. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 2/08/2007.
    » http://www.inep.gov.br/superior/ENADE/default.asp
  • INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). ENADE 2009 - Relatório de curso: Fundação Universidade Federal de Viçosa. Disponível em: <Disponível em: http://www.inep.gov.br/superior/ENADE/default.asp > Acesso em: 30/01/2011.
    » http://www.inep.gov.br/superior/ENADE/default.asp
  • KRUEGER, Richard A.; CASEY, Mary Anne. Focus groups: a practical guide for applied research. 3rd ed. Thousand Oaks(USA): Sage Publications, Inc., 2000.
  • MORGAN, David L. Focus groups as qualitative research. Qualitative research methods. Series 16. Newbury Park(USA): Sage Publications., 1988.
  • RYANS, David G.; FREDERIKSEN, Norman. Performance tests of educational achievement.In: LINDQUIST, E. F. Educational Measurement. 2 nd ed. Washington (USA): American Council on Education , p. 455-494, 1955.
  • SAMPIERI, Roberto Hernández; COLLADO, Carlos Fernández; LUCIO, Pilar Baptista. Metodologia de Pesquisa. Tradução Fátima Conceição Mirad, Melissa Kassner, Sheila Clara Dystyler Ladeira, 3 ed. São Paulo: McGraw-Hill, 2006.
  • SCHMEISER, Cynthia B.; WELCH, Catherine J. Test development. In: BRENNAN, Robert L. (Ed.). Educational Measurement. 4th ed. Washington (USA): American Council on Education , p. 307-353, 2006.
  • VERHINE, Robert Evan; DANTAS, Lys Maria Vinhaes; SOARES, José Francisco. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio, n. 52, v. 14, p.291-310, jul.-set. 2006.
  • VIANNA, Heraldo Marelim. Avaliações nacionais em larga escala: analises e propostas. Estudos em Avaliação Educacional, Bauru, n. 27, p. 41-76, jan.-jun. 2003.
  • WOOD, R. Achievement Tests. In: PSACHAROPOULOS, George (Ed.). Economics of education research and studies. 1nd ed. New York (USA): Pegarmon Press, p. 59-62, 1987.
  • 1
    Ingressantes são os estudantes que cursaram o final do primeiro ano e os concluintes são os discentes que se encontram no final do último ano do curso. Esses grupos de estudantes foram submetidos à mesma prova no ENADE/2006.
  • 2
    Administração, Arquivologia, Biblioteconomia, Biomedicina, Ciências Contábeis, Ciências Econômicas, Comunicação Social, Design, Direito, Formação de Professores, Música, Psicologia, Secretariado Executivo, Teatro e Turismo.
  • 3
    A participante cita o nome de uma tradicional Universidade, omitida por questões de confidencialidade.
  • 4
    O participante ressaltou que tem dez anos de experiência docência em IES particulares.

Datas de Publicação

  • Publicação nesta coleção
    May-Jul 2016

Histórico

  • Recebido
    22 Nov 2012
  • Aceito
    04 Nov 2013
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br