Avaliação institucional na escola pública: os (des)caminhos de uma política educacional

Institutional assessment in public schools: the (mis)leading paths of an educational policy

Resumo:

A análise da política educacional referente à tecnologia pedagógica - avaliação institucional, a partir do Programa de Avaliação Institucional da Educação Básica do Paraná, foi objeto da pesquisa apresentada neste artigo. O estudo realizado foi fundamentado na abordagem do ciclo de políticas públicas de Stephen Ball para análise da política, e nos trabalhos de Cappelletti e Dias Sobrinho, estudiosos em avaliação educacional. As equipes de gestão das escolas públicas estaduais de um município paranaense foram os sujeitos selecionados para participar da investigação e o questionário impresso foi o instrumento de coleta de dados utilizado, para averiguar a percepção da escola em relação às políticas educacionais propostas e sua recontextualização no cotidiano escolar. As publicações orientadoras da política foram objeto da análise documental. Os resultados da pesquisa revelaram os des(caminhos) da política de avaliação institucional proposta e da sua reconfiguração no interior das escolas, evidenciando as interações macro, micro e mesossociológicas de implementação de programas e políticas públicas.

Palavras-chave:
avaliação institucional; escola pública; política educacional; políticas públicas

Abstract:

The aim of the research reported in this article was the analysis of the educational policy concerning pedagogical technology - institutional assessment - based on the Institutional Program of Evaluation of Basic Education of the State of Paraná. For the analysis of the policy the study was based on the public policy cycle approach proposed by Stephen Ball and on the studies about educational assessment developed by Cappellletti and Dias Sobrinho. The participants of the research were the public schools management teams of a municipality in the State of Paraná. A written questionnaire was used as the data collection instrument with the aim of understanding the perception of the school concerning the proposed educational policies and their recontextualization in the everyday life of the schools. The document analysis included the guideline publications about the policy. The results of the research demonstrate the (mis)leading paths of the proposed institutional evaluation policy and of its reconfiguration in the school context, highlighting the macro, micro and meso-sociological interactions of the implementation of programs and public policies.

Keywords:
institutional assessment; public schools; educational policy; public policies

Introdução

A presente pesquisa, que teve como objeto o Programa de Avaliação Institucional desenvolvido nas escolas públicas estaduais de um município do estado do Paraná, fez parte de um projeto de pesquisa de maior abrangência sobre as tecnologias pedagógicas propostas pela Secretaria de Estado da Educação do Paraná - SEED/PR, no período compreendido entre 2003-2006, desenvolvido pelo Grupo de Pesquisa em Política Educacional e Formação de Professores - Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Nela, as tecnologias pedagógicas se referiam ao Projeto Pedagógico, à avaliação institucional e à formação de professores das escolas públicas estaduais.

As três tecnologias foram estudadas por três subgrupos, cada uma por um deles, os quais eram compostos por professores e acadêmicos de uma Instituição de Ensino Superior (IES) pública paranaense. As tecnologias foram analisadas enquanto programas pertencentes a uma política pública voltada para a educação que estava sendo proposta pela SEED/PR.

A primeira etapa do trabalho dos três subgrupos foi o levantamento bibliográfico para a definição do referencial teórico da pesquisa e o estudo dos documentos políticos oficiais referentes ao Projeto Pedagógico, à avaliação institucional e à formação de professores. A segunda etapa foi de elaboração do roteiro de análise dos documentos políticos e de análise dos documentos/textos políticos, separadamente, por tecnologia. A terceira etapa foi de elaboração do instrumento de coleta de dados - questionário, visando à análise do contexto prático das políticas. A quarta etapa foi de aplicação e de recolhimento dos questionários nas escolas. A quinta etapa de trabalho correspondeu à tabulação dos dados. Na sexta etapa fez-se a análise dos dados, separadamente, por tecnologia. A sétima etapa correspondeu ao período de produção teórica relativa à pesquisa do contexto prático das políticas, separadamente, por tecnologia. A oitava etapa correspondeu ao trabalho de análise sistêmica da interação e relações entre as três tecnologias.

Neste texto apresenta-se a análise do Programa de Avaliação Institucional enquanto tecnologia pedagógica. Os objetivos da pesquisa estavam centrados na análise das concepções de avaliação institucional que permeiam os documentos políticos da SEED/PR; na caracterização das formas de implementação da avaliação institucional no interior das escolas, tendo em vista as políticas educacionais que a nortearam; na percepção da representação das equipes de gestão das escolas em relação às políticas educacionais; e no modo como são vivenciadas no cotidiano escolar.

Na primeira parte do texto a discussão está centrada em três aspectos fundamentais: no conceito de tecnologia; na avaliação institucional e autoavaliação de escolas; e na abordagem do ciclo de políticas formulado por Stephen Ball e seus colaboradores (2001). Na segunda parte do texto apresenta-se a análise dos documentos políticos do Programa de Avaliação Institucional da SEED/PR: 1) o caderno temático sobre avaliação institucional (2004), que buscou esboçar uma concepção de avaliação institucional para o desenvolvimento do Programa nas escolas públicas estaduais paranaenses; 2) o caderno denominado instrumento de autoavaliação institucional, que define a operacionalização do processo avaliativo na escola e contém as dimensões para a avaliação da escola num questionário. E na terceira parte do texto apresenta-se a análise da política referente à avaliação institucional no contexto escolar a partir da representação de seus gestores, tendo em vista os textos políticos produzidos e as consequências quando eles são vivenciados no contexto da prática, ou seja, os (des)caminhos do ciclo de vida da política educacional.

Conceitos teóricos que fundamentaram a análise dos documentos políticos e a representação dos gestores das escolas

Tecnologia. O conceito de tecnologia adotado no trabalho tem a ver com o saber-fazer organizacional, com a capacidade de analisar e resolver problemas. São tecnologias de ação, de trabalho da escola, os modos como realiza as funções tendo em vista as finalidades educativas. Como, por exemplo, o Projeto Pedagógico, a avaliação, a gestão, a liderança, entre outros. (Lima, 2003).

Há vários modos tecnológicos de organizar as atividades educativas dependendo de diversas variáveis (nível etário dos alunos, modalidade de ensino) e da especificidade da organização escolar. Dois modelos podem servir para descrever a tecnologia usada na escola. Partindo do trabalho docente, pode-se falar em tecnologia encadeada, mediadora e intensiva. Os modos tecnológicos de organizar a escola traduzem pressupostos educativos e organizacionais diversos, enfatizam determinadas funções e finalidades. (Lima, 2003).

Avaliação institucional e autoavaliação de escolas. As transformações que vêm ocorrendo na educação e em sua avaliação estão articuladas de forma singular às profundas mudanças que estão acontecendo na sociedade, na economia, na política e no mundo em âmbito global. Dessa forma, a educação tem sido "chamada" para responder a desafios, ajudar a solucionar problemas que são, ao mesmo tempo, importantes, diversos e, muitas vezes, contraditórios, como:

[...] os da produção da alta tecnologia, formação de mão-de-obra de alto nível, treinamento para atendimento de demandas imediatas do mundo do trabalho, formação qualificada para ocupações de tipo novo, formação para a inovação, preservação e desenvolvimento da alta cultura, recuperação da cultura popular, educação continuada, formação para o empreendedorismo, promoção da cidadania e da consciência de nacionalidade, inserção no mundo globalizado e compreensão das transformações transnacionais [...] e tantas outras exigências carregadas de urgências e, em todo caso, de difíceis respostas. (Dias Sobrinho, 2002, p. 13-14).

Como resultado dessa pluralidade de demandas e expectativas tem-se, no atual contexto, uma enorme diversificação de instituições de ensino. Desse modo,

Diferenças e contradições se produzem nos modelos organizacionais e díspares formatos institucionais, nas concepções de formação, nas vinculações ideológicas dos atores, nas relações com a ciência e a tecnologia, na gama diversificada de valores e interesses acordes ou conflituosos, nos projetos distintos de sociedade. (Dias Sobrinho, 2010, p. 197).

A partir da forte influência da política neoliberal e da globalização sobre a educação em todos os níveis, esta é levada a assumir uma função mais orientada ao individualismo e ao pragmatismo econômico do que aos ideais do conhecimento universal, da pertinência e da justiça social. "Isto equivale a dizer que o conhecimento e a formação estão crescentemente perdendo seus sentidos de bens públicos e direitos de todos e adquirindo mais e mais o significado de bens privados para benefício individual". (Dias Sobrinho, 2010, p. 199).

De acordo com a mesma lógica, a avaliação institucional na educação está fundamentada em uma concepção racionalista, pragmatista, quando se limita a medir o rendimento escolar para efeito de regulação, pela qual os órgãos governamentais disciplinam, controlam e modelam unidirecionalmente a escola, dada a necessidade de controle, medição, ranking e prestação de contas, à semelhança do que ocorre no mundo econômico. Por outro lado, há a possibilidade de se investir em uma concepção crítica de avaliação a partir da consideração da sua dimensão ética e, portanto, política.

A partir do novo panorama educacional brasileiro, considera-se que as contribuições da avaliação institucional para as reflexões sobre os currículos das escolas podem se dar à medida que as instituições tiverem clareza em relação ao por que querem avaliar, para que serve a avaliação, quais os objetivos a serem alcançados, quais os valores a serem disseminados.

Acredita-se que um processo de avaliação institucional construído, implementado e avaliado a partir de tais questionamentos pode influenciar positivamente o processo educacional para reformulações curriculares desencadeadas em torno de reflexões coletivas sobre que ser humano desejamos formar; para que tipo de sociedade; como entendemos a relação entre a formação do aluno para a cidadania e para o mundo de trabalho; quais os valores a serem disseminados na formação dos alunos, entre outras.

Tal crença se fundamenta no pressuposto de que a avaliação institucional é instrumento de autonomia, de autoconhecimento, um processo de reflexão que visa à responsabilização da escola pela sua gestão pedagógica, administrativa e comunitária. É nesse processo que ela reflete sobre si própria, que ela passa a se conhecer e a exercer a sua autonomia, decidindo sobre o seu próprio destino e impedindo que a rotina, as pressões internas e externas e as políticas governamentais determinem suas prioridades e o seu cotidiano.

É nesse contexto de reflexões que a autoavaliação de escolas, diferentemente dos processos de avaliação externa¹, coloca-se como fundante para o desenvolvimento curricular, para o desenvolvimento das ações em que é marcada pela não linearidade. As etapas não ocorrem de forma cronologicamente sequencial, mas caracterizam-se por um conjunto de ações concretizadas em situações de participação compartilhada, de forma a favorecer o diálogo, a comunicação, a criação coletiva, a restituição sistemática, considerados elementos fundamentais para a efetivação de um processo avaliativo emancipatório.

É a partir dessa concepção - de que a avaliação institucional somente adquire significado à medida que os dados avaliativos coletados sejam utilizados nas instituições para desencadear reflexões e ações de mudanças - que se defende a concepção de avaliação emancipatória. (Saul, 2001). Isso acontece por entender-se que a avaliação emancipatória se situa numa vertente político-pedagógica emancipadora, que visa provocar a crítica, de modo a libertar o sujeito de condicionamentos deterministas. Os conceitos básicos envolvidos nesse processo são: emancipação, decisão democrática, transformação, crítica educativa².

Dessa forma, o real significado da avaliação na educação está em fortalecer o movimento que leva à emancipação social e à democratização da sociedade, podendo, nessa perspectiva, contribuir para entender a complexa trama em que as políticas educacionais são produzidas e como elas se materializam no cotidiano da escola.

A abordagem do ciclo de políticas. Uma das principais contribuições da abordagem formulada por Stephen Ball e seus colaboradores está na viabilidade da sua utilização para a análise crítica da trajetória de programas e políticas educacionais.

O autor propõe o ciclo de vida da política em cinco contextos, os quais não têm dimensão temporal ou sequencial, e também não se constituem em etapas lineares ou verticalizadas, mas que integrados e inter-relacionados permitem a compreensão do processo político como multifacetado e dialético, a partir da articulação das perspectivas macro e micro. (Mainardes, 2006).

O primeiro contexto é o contexto de influência onde normalmente as políticas públicas são iniciadas e os discursos políticos são construídos. É nesse contexto que grupos de interesse disputam para influenciar a definição das finalidades sociais da educação e do que significa ser educado. [...]. O contexto de influência tem uma relação simbiótica, porém não evidente ou simples, com o segundo contexto, o contexto da produção de texto. Ao passo que o contexto de influência está frequentemente relacionado com interesses mais estreitos e ideologias dogmáticas, os textos políticos normalmente estão articulados com a linguagem do interesse público mais geral. Os textos políticos, portanto, representam a política. [...] Tais textos não são, necessariamente, internamente coerentes e claros, e podem também ser contraditórios [...]. Assim, políticas são intervenções textuais, mas elas também carregam limitações materiais e possibilidades. [...] As respostas a esses textos têm consequências reais. Essas consequências são vivenciadas dentro do terceiro contexto, o contexto da prática. De acordo com Ball e Bowe (Bowe et al., 1992), o contexto da prática é onde a política está sujeita à interpretação e recriação e onde a política produz efeitos e consequências que podem representar mudanças e transformações significativas na política original. Para estes autores, o ponto-chave é que as políticas não são simplesmente "implementadas" dentro desta arena (contexto da prática), mas estão sujeitas à interpretação e, então, a serem "recriadas": os profissionais que atuam no contexto da prática [escolas, por exemplo,] não enfrentam os textos políticos como leitores ingênuos, eles vêm com suas histórias, experiências, valores e propósitos [...]. Políticas serão interpretadas diferentemente uma vez que histórias, experiências, valores, propósitos e interesses são diversos. (Mainardes, 2006, p. 51-55).

Em função dos objetivos propostos na pesquisa, trabalhou-se com os contextos da influência, da produção do texto e da prática, em função de que "[...] a análise de políticas deve incidir sobre a formulação do discurso da política e sobre a interpretação ativa que os profissionais que atuam no contexto da prática fazem para relacionar os textos da política à prática" (Mainardes, 2006, p. 29), o que possibilita a percepção de processos de concordância, discordância, resistência, conformismo e, ainda, a própria percepção desses processos pelos diferentes atores envolvidos.

Análise dos documentos políticos do Programa de Avaliação Institucional da SEED/PR

Caderno Temático: Avaliação Institucional

Conforme consta no item "[...] concepção e princípios orientadores da avaliação institucional na SEED/PR" (Paraná, 2005a, p. 11) dos cadernos temáticos sobre avaliação institucional (material enviado às escolas), a avaliação institucional deve ser produto de uma construção coletiva, com o objetivo de identificar as qualidades e fragilidades das instituições e do sistema, subsidiando, desta forma, as políticas públicas voltadas para a educação e comprometidas com a transformação social e com a qualidade da gestão escolar e da educação pública ofertada na rede estadual. (Paraná, 2005a).

Fica claro no documento que o Programa de Avaliação não estava sendo proposto para ficar restrito às escolas, mas para abranger as três instâncias que compõem o sistema, a escola, a sede da SEED e os Núcleos Regionais de Educação. O objetivo era sinalizar os fatores que facilitavam ou dificultavam a democratização e a qualificação do sistema e das instituições da rede, não apenas para a tomada de consciência, mas para a correção de rumos e o comprometimento com ações inovadoras que visassem o avanço da educação básica no estado do Paraná. (Paraná, 2005a).

Percebe-se claramente na análise do documento político que a concepção de avaliação proferida e/ou adotada pela SEED/PR, naquele momento, estava fundamentada em um referencial crítico da área. Isso se evidencia nas citações que aparecem no texto, de autores como Dias Sobrinho, Zainko, Belloni, Aguillar e, principalmente, nos conceitos e argumentos defendidos em torno de:

[...] os aspectos políticos (das relações de poder existentes), técnicos (das metodologias que dão suporte à sua implementação), sociais (dos sujeitos que a produzem e suas relações com a instituição e com o sistema educacional ao qual pertencem) e simbólicos (dos valores e significados que assume, tanto para a instituição quanto para a sociedade); [...] o processo de avaliação envolve compreensão da realidade e não enquadramento ao ideal. Há que ser entendida como possibilidade de visão abrangente da totalidade e da complexidade implícita do ambiente escolar e no interior do sistema, uma vez que neles existem aspectos positivos e negativos, espaços preenchidos e vazios, acordos e contradições, o dito e o não dito as disputas de poder e as alianças, o aparente e o oculto. Penetrar nessas contradições e aprofundar esta visão é essencial para uma avaliação que se pretende justa e consequente; [...] o processo de avaliação carrega em si uma força transformadora que deve ser reconhecida, mobilizada e explorada. A natureza das ações de descrever, atribuir valor, analisar, levantar hipótese, compreender, inerentes ao ato de avaliar, traz consigo o primeiro passo das transformações a serem realizadas. O entendimento do objeto estudado e avaliado é, pois, a ação propulsora de sua transformação; [...] o processo de avaliação deve ser encaminhado de maneira que haja uma "assinatura" clara e comprometida dos avaliadores, uma "assinatura" clara da escola ligada à sua identidade institucional (é preciso situar que escola, em qual comunidade, representando que papel, cumprindo qual finalidade, com estes e não aqueles atores). Isso significa que é preciso situar-se como sujeito individual e coletivo e tratar o processo de avaliação dentro do contexto sociopolítico no qual a instituição avaliada se insere. (Paraná, 2005b, p. 11-16).

Os argumentos que aparecem no documento político da SEED/PR, referentes aos aspectos políticos e à força transformadora da avaliação, vêm ao encontro dos princípios da avaliação emancipatória de Saul (2001), bem como a defesa do entendimento da avaliação institucional como processo de compreensão da realidade e não de enquadramento a um modelo de realidade idealizado como possibilidade de se ter uma visão abrangente da totalidade e da complexidade se constitui em um pressuposto que vem sendo muito defendido por Cappelletti (2010).

A qualidade sócio-cultural no processo de avaliação e reconstrução curricular não acontece por acaso. Na participação, é necessário que o avaliador tenha competência e sensibilidade para compreender o implícito, isto é, desvelar as representações, as "verdades" de cada um, o jogo de poder que circula no grupo participante do processo de avaliação curricular. [...] As realidades sociais, além de complexas, são polarizadas, geradas no campo dos conflitos, onde as concordâncias e discordâncias são expressas pela comunicação. (Cappelletti, 2010, p. 14).

Quanto à necessidade de tratar o processo de avaliação dentro do contexto sociopolítico no qual a instituição avaliada se insere, há que se ressaltar que a função principal da avaliação é a evolução e a consolidação da qualidade do processo de ensino e aprendizagem.

Retomando Mainardes (2006), no contexto da produção do texto, os textos políticos são representativos da política e ligados ao interesse público geral, resultam das disputas e acordos e, por essa razão, podem apresentar contradições, devendo, desta forma, ser interpretados levando-se em conta o período histórico e o local em que foram produzidos.

Caderno Temático: Instrumento de Autoavaliação Institucional da Escola

O Programa de Avaliação Institucional da Educação Básica da Rede Pública Estadual, criado em 2004 pela Secretaria de Estado da Educação do Paraná, foi definido como uma política educacional cujo propósito era "[...] conhecer de forma sistemática a realidade das instâncias do Estado, através da intensa participação de seus profissionais, a fim de interferir nessa realidade de forma responsável e efetiva". (Paraná, 2004, p. 9).

A concepção de avaliação institucional foi definida como "[...] processo que busca avaliar a instituição de forma global, ou seja, contemplando os vários elementos que a constituem em função de sua finalidade" (Paraná, 2004, p. 11), e a autoavaliação da escola entendida como

[...] "olhar" da instituição sobre si mesma, é o processo de tomada de consciência das pessoas que fazem parte da instituição, a partir da participação e da reflexão coletivas, a fim de orientar a tomada de decisões no sentido do comprometimento na construção da melhoria da qualidade da Educação. (Paraná, 2004, p. 11).

A explicitação da proposta do Programa revela uma concepção de avaliação que tem seus pressupostos fundamentados na teoria crítica, que, segundo Cappelletti (2012, p. 219), "[...] significa ter uma visão dialética da realidade, construir coletivamente um conhecimento reflexivo que possibilite a inserção sociocultural dos envolvidos, a partir de situações que integrem teoria e prática". Tal perspectiva teórica ficou evidenciada na elaboração da proposta de avaliação institucional desde a formulação da política até sua operacionalização nas instâncias educacionais envolvidas.

Quanto aos três instrumentos de avaliação criados para a coleta de dados nas instâncias participantes - Escolas, Núcleos Regionais de Educação e SEED, a descrição contida no documento orientador da política afirma que eles pautaram-se numa concepção de avaliação processual, formativa e democrática, com a participação de representantes dos três segmentos. O instrumento de autoavaliação institucional da escola

[...] constitui-se em modelo padrão para todas as escolas do Estado do Paraná, por duas razões principais: por um lado, a finalidade das escolas é a mesma - a efetividade do processo ensino-aprendizagem; por outro, é necessário que se mantenha a visão de totalidade, fundamentando dessa forma o direcionamento das políticas educacionais. Contudo, o documento disponibiliza um espaço à parte para que a escola acrescente questões inerentes à sua especificidade. (Paraná, 2004, p. 9).

O objetivo do instrumento proposto foi, por um lado, a mobilização da comunidade escolar para reflexão e discussão sobre o "fazer escola"; por outro, o de gerar o autoconhecimento e o compromisso coletivo para a efetivação do processo ensino-aprendizagem, função primeira da escola.

O documento denominado "instrumento da escola" continha as orientações para a implantação e desenvolvimento do processo avaliativo na escola, e também para a elaboração do relatório de autoavaliação e do parecer final da Comissão de Avaliação.

O referencial de avaliação construído foi base para a definição das seis dimensões de autoavaliação institucional, as quais foram subdivididas em indicadores a serem avaliados na forma de questões, construídas a partir de uma escala ordinal. A proposição de cada questão deveria ser respondida considerando-se a afirmação da existência real da situação enunciada, variando do nível 1 (um) ao 5 (cinco), como forma de configurar um quadro mais aproximado da realidade institucional.

As palavras associadas a cada número (nível) expressavam o grau de concordância ou de discordância acerca do item avaliado. O nível 1 (discordo totalmente) significava que a situação afirmada não existia na escola e o nível 2 (discordo parcialmente) significava que a situação afirmada existia parcialmente, mas em um nível mínimo. O nível 3 (não concordo e nem discordo) significava que a situação afirmada existia em grau mediano na realidade da escola. O nível 4 (concordo parcialmente) significava que a situação afirmada no item existia em um nível ainda não completo, mas bem mais próximo da sua totalidade e o nível 5 (concordo totalmente) significava que a situação afirmada correspondia totalmente à realidade da escola. (Paraná, 2004).

As dimensões contidas no instrumento foram:

a) Órgãos Colegiados de Gestão - com 22 questões voltadas para análise do trabalho articulado do diretor como Conselho Escolar, a APMF e o Grêmio Estudantil, considerando o enfoque de gestão democrática.

b) Profissionais da Educação - com 11 questões relativas aos profissionais da escola, levando-se em consideração a importância da tomada de consciência dos envolvidos do seu papel/compromisso/responsabilidade profissional em relação ao seu próprio trabalho e em relação à instituição da qual faz parte.

c) Condições Físicas e Materiais - com 30 questões relacionadas à organização do trabalho, da estrutura física e dos recursos financeiros os quais deveriam ser analisados a partir de um olhar pedagógico, ou seja, no sentido de como esses elementos contribuíam para a efetivação do processo ensino-aprendizagem da escola.

d) Prática Pedagógica - com 42 questões centradas na necessidade de articulação dos conhecimentos dos profissionais a uma prática pedagógica comprometida com a concretização do processo ensino-aprendizagem.

e) Ambiente Educativo - as 15 questões propostas nesta dimensão estavam centradas na ideia de que sendo a escola o local no qual se concretiza o processo ensino-aprendizagem, é fundamental que o ambiente escolar seja inclusivo e que as relações sejam éticas e democráticas.

Acompanhamento e avaliação do desenvolvimento educacional - as 16 questões dessa dimensão trataram dos resultados da escola expressos em índices de aprovação, reprovação, abandono, faltas, entre outros. (Paraná, 2004, p. 10).

Além das questões fechadas foram propostas três questões abertas ao final de cada dimensão. A primeira solicitava que o grupo destacasse o que considerava como maior destaque da escola e justificasse as ações concretas nela desenvolvidas que identificassem a escolha. A segunda solicitava que o grupo apontasse o que considerava maior fragilidade da escola e ao mesmo tempo propusesse ações concretas para sua superação. A terceira, fazendo referência à segunda questão, solicitava que os participantes do processo avaliativo indicassem os itens em que os Núcleos Regionais e/ou a Secretaria de Estado da Educação poderiam colaborar com a escola.

É importante ressaltar que, embora o instrumento de autoavaliação tenha sido enviado para a escola num documento impresso com as questões a serem respondidas, ele foi fruto de uma construção coletiva pelos educadores do Paraná, razão pela qual é enfatizado no texto orientador que o "[...] instrumento não é dado por acabado, sendo passível de alterações no decorrer do processo". (Paraná, 2004, p. 10).

A metodologia para a realização da autoavaliação institucional foi estabelecida pelos formuladores do Programa também nos documentos políticos, os quais continham as orientações para o desenvolvimento do processo no interior da escola. As etapas estabelecidas foram:

a) Criação de uma Comissão de Avaliação Institucional na escola, cujo presidente (interlocutor) era o responsável pelos documentos, pela organização dos grupos e agendamento de reuniões.

b) Formação de grupos mistos de no mínimo dez e no máximo vinte pessoas para a discussão e o preenchimento do instrumento de autoavaliação institucional, os quais deveriam ser compostos por representantes de cada segmento da comunidade escolar: professores/pedagogos, funcionários, alunos e pais.

c) Escolha de um relator do grupo para coordenar a discussão, bem como a leitura e o preenchimento do Instrumento de Autoavaliação Institucional.

d) Encaminhamento do instrumento preenchido pelo grupo da escola ao Interlocutor da Autoavaliação Institucional para que a Comissão de Avaliação Institucional elaborasse as sete planilhas de sistematização dos resultados, das quais, seis referiam-se a cada uma das dimensões constantes do Instrumento e outra denominada "Visão Geral da Escola" que sintetizava as seis dimensões.

e) Sistematização dos resultados em forma de um Relatório e de um Parecer descritivos, documentos estes constitutivos do Resultado Geral da Escola.

f) Elaboração de um Plano de Trabalho em parceria com o diretor e pedagogos da escola.

g) Envio do Resultado Geral e do Plano de trabalho ao Núcleo regional de Educação. (Paraná, 2005b, p. 22).

A partir da opção teórico-metodológica proposta nos documentos do Programa de Avaliação Institucional, constatou-se que houve um planejamento coletivo do projeto de autoavaliação das escolas, seguido pela sua implementação, análise e divulgação de resultados e elaboração de parecer e plano de trabalho, este considerado elemento fundamental num processo de avaliação institucional.

A produção de dados, o conhecimento da realidade por si só não bastam para a transformação desta realidade. A tomada de consciência coletiva deve estar articulada com a tomada de decisões e o comprometimento coletivo, os quais se concretizam na elaboração, implementação e acompanhamento do PLANO DE TRABALHO da escola. (Paraná, 2005a, p. 14).

A utilidade de um processo de autoavaliação, portanto, está na mobilização da comunidade escolar para análise, discussão, reflexão sobre os resultados para interpretação e elaboração de conclusões e recomendações. (Alaiz, Góis e Gonçalvez, 2003). Nessa perspectiva,

[...] a autoavaliação da escola é um processo necessário para compreender a dinâmica institucional, que pode e deve ser útil para a escola, desde que não se traduza apenas na identificação de pontos fortes e de fragilidades, mas, também na elaboração de recomendações que deverão ser consideradas na proposição de melhorias qualitativas para instituição. Trata-se da utilização dos resultados para a elaboração dos planos de ação para o desenvolvimento da escola. É, portanto, na mobilização dos resultados que reside a utilidade da autoavaliação. Um plano de desenvolvimento da escola é um documento que contém as intenções do coletivo escolar, refletindo a visão de futuro e desenvolvimento necessário à escola. Identifica as prioridades de ação, estabelece as metas e os modos para sua concretização. (Brandalise, 2010, p. 327).

Depreende-se da argumentação da autora que o plano de trabalho da escola precisa ser compreendido como o conjunto de ações necessárias para planejar e gerir o desenvolvimento da escola, o que pressupõe o fortalecimento da capacidade institucional nos processos internos de trabalho e de decisão sobre as mudanças a serem implementadas.

Análise da política referente à avaliação institucional no contexto escolar a partir da representação de seus gestores

Como as políticas educacionais relativas à avaliação institucional têm se configurado no interior das escolas públicas estaduais paranaenses? Essa foi a questão norteadora que desencadeou os estudos desta pesquisa numa perspectiva qualitativa que envolveu além da análise de documentos políticos emanados da SEED alusivos ao Programa, os dados coletados por meio de questionários aplicados aos profissionais das equipes de gestão de 38 escolas públicas estaduais de um município paranaense, dos quais 28 responderam e devolveram compondo uma amostra de 74% da população definida para a investigação.

Orientações emanadas da SEED/PR, seguindo os princípios de democratização, prescreveram o envolvimento de todos os segmentos do coletivo escolar na forma de representação e, em função disto, o instrumento de pesquisa quanto à tecnologia pedagógica "avaliação institucional" foi organizado contendo seis questões, que buscaram compreender como o desenvolvimento da política ocorreu no interior das escolas, ou seja, como a política foi recontextualizada no contexto da prática.

No primeiro questionamento direcionado às equipes gestoras da escola procurou-se diagnosticar a opinião quanto à política proposta; no segundo, se as questões de autoavaliação contemplavam dimensões que possibilitavam avaliar a totalidade do trabalho da escola, conhecendo-a de modo global e articulado; no terceiro, como o processo foi desenvolvido no interior da escola; no quarto, sobre o que os resultados da avaliação institucional mostraram que a escola precisaria levar em consideração para elaborar os planos de trabalho; no quinto, se os planos de trabalho/projetos foram desenvolvidos na época de implantação da política de avaliação institucional da SEED e se eles continuavam em execução na escola, e no sexto questionamento, sobre o que o movimento avaliativo havia representado no interior da escola.

A análise dos depoimentos coletados foi realizada com a utilização da metodologia do Discurso do Sujeito Coletivo (DSC)³, que consiste em uma forma de representar o pensamento de uma coletividade sobre um fenômeno, a partir de discursos-síntese de sentido semelhante. (Lefèvre e Lefèvre, 2005a, 2010)⁴.

A opção se justifica considerando o referencial teórico adotado na investigação da abordagem do ciclo de políticas públicas (Mainardes, 2006), particularmente neste artigo quanto ao contexto da produção do texto referente aos textos políticos e ao contexto da prática em que as políticas são interpretadas e recriadas a partir dos interesses, experiências e valores das pessoas que a integram.

Na análise do processo de autoavaliação institucional realizado na escola procurou-se apreender não apenas o que foi instituído no Programa pelo sistema educacional, mas também o que se cria no interior das próprias escolas a partir do movimento instituinte gerado pelos seus sujeitos.

No que tange à opinião dos gestores escolares quanto ao Programa de Avaliação Institucional da Educação Básica na Rede Pública Estadual do Paraná, 46% dos entrevistados concordaram plenamente com a política, 47% concordaram parcialmente e 7% não concordaram. Nos depoimentos ficou evidente a importância por eles atribuída ao processo avaliativo, por propiciar uma visão de totalidade da escola desvelando sua realidade institucional e um repensar sobre as práticas escolares instituídas, o redirecionamento de suas ações e a tomada de decisões coletivas. Também enfatizam a importância da escola ver-se como parte de um sistema estadual. Aqueles que não concordaram justificaram seu posicionamento afirmando que dificilmente irá se conhecer a realidade das escolas públicas da forma como foi realizada, porque participou um grupo muito pequeno de representantes da comunidade escolar.

Em relação ao modo como os sujeitos perceberam as orientações advindas da SEED no instrumento da escola, as dimensões de avaliação propostas e as questões contempladas em cada uma delas, e como tais encaminhamentos se processaram no interior da escola, os gestores afirmaram que foi possível avaliar de forma parcial o trabalho da escola (48% dos entrevistados), porque as escolas têm suas particularidades, têm identidades únicas, singulares, e que as diferenças, mesmo entre as escolas estaduais, são muito grandes. Consideraram que o instrumento mostrou-se frágil em relação à análise de projetos, aos métodos de ensino e às atividades desenvolvidas em cada instituição em particular. O formato das questões do instrumento de avaliação também foi objeto de críticas (questões fechadas), bem como a participação de um pequeno grupo representativo da escola, que, segundo os depoimentos, não expressaram a opinião do pensamento coletivo da escola.

Quanto ao desenvolvimento do processo de autoavaliação no interior das escolas, predominou a forma que foi realizada conforme as orientações emanadas do Programa da SEED, (36%) das escolas pesquisadas. Nas declarações dos entrevistados eles enfatizaram que foram montados os grupos com as representações dos vários segmentos da escola, conforme as instruções enviadas: gestores, professores, pais, funcionários e alunos. A leitura do caderno de orientações foi realizada, acompanhada de discussões sobre as questões e o trabalho realizado na escola. Em 22% das escolas pesquisadas a autoavaliação institucional, além de seguir as orientações do Programa, foi realizada em sintonia com os processos de avaliação já existentes na escola, estabelecendo relação entre eles. Em algumas escolas (11%) houve maior participação do corpo docente, os quais também declararam ter seguido as orientações estabelecidas na política, na discussão das dimensões propostas no instrumento de autoavaliação.

O resultado do processo de autoavaliação nas instituições pesquisadas revelou em linhas gerais que eles geraram muita reflexão sobre o Projeto Pedagógico da Escola e que as escolas precisavam rever e considerar em seus planos de trabalhos os seguintes aspectos: o planejamento da escola (44%); o desenvolvimento de um trabalho coletivo e integrado (12%); a maior participação da comunidade escolar (12%); o comprometimento dos profissionais da educação (16%); e a aprendizagem dos alunos (16%). Os planos de trabalho solicitados às escolas, à época do processo avaliativo, foram elaborados. Alguns deles ficaram somente no papel, como declarado por 21% dos gestores das escolas. Outros (43%) que foram elaborados continuaram em execução, e alguns (18%) foram desenvolvidos parcialmente.

O movimento avaliativo realizado na escola foi considerado por 79% dos entrevistados como um momento de reflexão coletiva sobre o trabalho desenvolvido na escola, que propiciou uma análise de determinados aspectos e posturas da escola. Foi um momento de autoavaliação e autoconhecimento, uma conscientização de como a escola se encontrava. Um dos entrevistados assim se expressou sobre o que foi esse momento avaliativo: "Na escola: acredito que o 'pontapé' inicial para amadurecer os ideais, o que cada um acredita para a escola pública. Para a escola: um crescimento em longo prazo. Veio confirmar as necessidades da escola, com um respaldo teórico efetivo."

Considerações finais

Avaliar o Programa de Avaliação Institucional das escolas da Rede Pública Estadual do Paraná na perspectiva da abordagem do ciclo de políticas, como proposto por Stephen J. Ball (2001), possibilitou desvelar os (des)caminhos de uma política educacional considerando desde o processo de formulação da política até sua implementação, ou seja, considerando os contextos da produção dos textos políticos e da prática. A opção de análise da política a partir desse marco teórico revelou que embora os textos políticos representem a política nem sempre eles são claros e compreendidos, pois eles também carregam limitações materiais e possibilidades. (Mainardes, 2006).

Na pesquisa realizada foi possível verificar que a política de avaliação institucional da escola não foi simplesmente implementada, mas foi interpretada e recriada pela comunidade escolar, porque os gestores, os professores, os funcionários, os alunos e os pais exerceram de alguma forma um papel ativo no processo de interpretação e reinterpretação do Programa proposto. (Mainardes, 2009).

As análises dos textos do Programa avaliado e da percepção dos gestores da escola possibilitam algumas considerações:

- embora tenha existido a participação de profissionais das escolas públicas paranaenses na formulação do Programa e na construção do instrumento de avaliação da escola, a utilização de um modelo único de instrumento para todas as escolas públicas estaduais revelou, de certa forma, o modo verticalizado com que a SEED desencadeou a operacionalização da política no interior das escolas. Tal procedimento se contrapõe à concepção de avaliação crítica e emancipatória propalada nos textos políticos;

- as escolas públicas estaduais realizaram a autoavaliação atendendo à solicitação da SEED, porém esse processo avaliativo carecia de maior mobilização, sensibilização e formação efetiva dos membros da comunidade escolar para realizá-lo com maior reflexibilidade;

- em todo processo de avaliação espera-se que os resultados sejam utilizados direta ou indiretamente na tomada de decisões, e também para melhorar aspectos da política ou programa e para dar-lhe ou não continuidade, e embora as escolas tenham encaminhado ao NRE os resultados do processo avaliativo, o parecer e o plano de trabalho, conforme definido no Programa, não houve por parte da coordenação estadual um retorno da sistematização dos resultados e nem mesmo apoio às escolas na superação de suas fragilidades ou mesmo para a continuidade do processo de avaliação no interior das escolas;

- os depoimentos dos gestores pesquisados revelaram que a interpretação e utilização dos resultados do processo avaliativo ocorreram de modos diferenciados nas escolas, mas que na maioria delas a contribuição foi significativa. Para alguns foi um despertar para situações ainda não pensadas e refletidas, um questionamento às concepções de educação e/ou avaliação dos sujeitos e uma ampliação de conhecimentos e perspectivas acerca das relações existentes entre o trabalho realizado nos espaços escolares e o sistema educacional.

Dessa forma, é possível concluir que, apesar do avanço que o Programa representou para a análise, reflexão e planejamento de ações das escolas públicas paranaenses, devido à descontinuidade da política pelos agentes responsáveis, ele acabou por cair no descrédito da comunidade escolar em razão daquilo que foi inicialmente proposto e de fato efetivado, gerando dificuldades de integrar esta forma de avaliação nas atividades cotidianas da instituição escolar. Há que se considerar que as escolas enquanto protagonistas de políticas, programas e projetos precisam ser ouvidas e respeitadas nos diferentes contextos do ciclo de uma política educacional.

Referências

• ALAIZ, V.; GÓIS, E.; GONÇALVEZ, C. Auto-avaliação de escolas: pensar e praticar. Porto: Edições Asa, 2003.
• BALL, S. J. Diretrizes políticas globais e relações políticas locais em educação. Currículo sem Fronteiras, Porto Alegre, v. 1, n. 2, p. xxvii-xliii, 2001.
• BRANDALISE, M. Â. T. Avaliação institucional da escola: conceitos, contexto e práticas. Olhar de Professor, Ponta Grossa, PR, v. 13, n. 2, p. 315-330, 2010.
• BRANDALISE, M. Â. T.; MARTINS, C. B. Programa de avaliação institucional da educação básica do Paraná: da produção à implementação da política na escola. Estudos em Avaliação Educacional, São Paulo, v. 22, n. 50, p. 435-456, set./dez. 2011.
• CAPPELLETTI, I. F. (Org.). Avaliação e currículo: políticas e projetos. São Paulo: Editora Articulação Universidade/Escola, 2010.
• CAPPELLETTI, I. F. Opções metodológicas em avaliação: saliências e relevâncias no processo decisório. Roteiro, Joaçaba, SC, v. 37, n. 2, p. 211-226, jul./dez. 2012.
• DIAS SOBRINHO, J. Universidade e avaliação. Entre a ética e o mercado. Florianópolis, SC: Insular, 2002.
• DIAS SOBRINHO, J. Políticas de avaliação, reformas do estado e da educação superior. In: GISI, M. L.; ZAINKO, M. A. S. (Orgs.). Políticas e gestão da educação superior. Curitiba, PR: Champagnat, 2003. p. 61-89.
• DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação, Campinas, Sorocaba, SP, v. 15, n. 1, p. 195-224, mar. 2010.
• GUERRA, M. A. S. Tornar visível o quotidiano: teoria e prática de avaliação qualitativa das escolas., Porto: Edições Asa 2003.
• LEFÈVRE, F.; LEFÈVRE, A. M. C. O discurso do sujeito coletivo: um novo enfoque em pesquisa qualitativa - desdobramentos. 2. ed. Caxias do Sul, RS: EDUCS, 2005a.
• LEFÈVRE, F.; LEFÈVRE, A. M. C.Depoimentos e Discursos: uma proposta de análise em pesquisa social. Brasília, DF: Líber Livro, 2005b.
• LEFÈVRE, F.; LEFÈVRE, A. M. C.Pesquisa de representação social: um enfoque qualiquantitativo., Brasília, DF: Líber Livro 2010.
• LIMA, L. C. A escola como organização educativa. São Paulo: Cortez, 2003.
• MAINARDES, J. Abordagem do ciclo de políticas: uma contribuição para a análise de políticas educacionais. Revista Educação e Sociedade, v. 27, n. 94, 2006. Disponível em: <Disponível em: http://www.scielo.br/pdf/es/v27n94/a03v27n94.pdf >. Acesso em: 31 out. 2013.
  » http://www.scielo.br/pdf/es/v27n94/a03v27n94.pdf
• MAINARDES, J.; MARCONDES, M. I. Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional., Revista Educação e Sociedade Campinas, SP, v. 30, n. 106, p. 303-318, jan./abr. 2009. Disponível em: <Disponível em: http://www.scielo.br/pdf/es/v30n106/v30n106a15.pdf > Acesso em: 11 mar. 2013.
  » http://www.scielo.br/pdf/es/v30n106/v30n106a15.pdf
• PARANÁ. Avaliação institucional da educação básica no Paraná: processo de autoavaliação - escola. Curitiba: SEED, 2004.
• PARANÁ. Cadernos temáticos: avaliação institucional., Curitiba: SEED 2005a.
• PARANÁ. Avaliação institucional da educação básica no Paraná: processo de autoavaliação - escola. , Curitiba: SEED 2005b. (Caderno Instrumento de Autoavaliação Institucional da Escola).
• SAUL, A. M. Avaliação emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. 6. ed., São Paulo: Cortez 2001.

• 1
  Na avaliação externa, o Estado se transforma em "avaliador" com o papel de monitorar, credenciar e oferecer indicadores de desempenho para os sistemas de ensino. Apesar de provocar um impacto considerável no sistema educacional brasileiro, mobilizando as instituições educacionais para rever seus cursos, seus currículos, a qualificação de seus professores e buscar formas para aprimorar a qualidade de suas práticas apresentam aspectos limitantes como processo avaliativo. Pode-se citar como exemplo o caráter pontual e genérico dos exames, a tendência de homogeneização dos currículos, a desconsideração das especificidades institucionais, entre outros. Santos Guerra (2003) defende a "coavaliação", ou seja, a combinação do processo de avaliação externa, mais voltado aos resultados do processo educacional, e da avaliação interna, centrada na melhoria dos processos internos do trabalho das instituições.
• 2
  A emancipação prevê que a consciência crítica da situação e a proposição de alternativas de solução para a ela constituam-se em elementos de luta transformadora para os diferentes participantes da avaliação. A decisão democrática implica que haja um envolvimento responsável e compartilhado dos elementos que participam de um programa, na tomada de decisão tanto nos delineamentos a respeito da proposta avaliativa quanto nos rumos de um programa educacional. Estimula-se uma participação ampla e diversificada dos elementos, contemplando-se tanto o consenso quanto o dissenso. A transformação diz respeito às alterações substanciais de um programa educacional, geradas coletivamente pelos elementos envolvidos, com base na análise crítica dele. Essas transformações estão em consonância com os compromissos sociais e políticos assumidos pelos participantes do programa. A crítica educativa propõe uma análise valorativa do programa educacional na perspectiva de cada um dos participantes (avaliadores) que atuam em um programa. A crítica incide sobre o programa em si, prioritariamente sobre a dimensão de processo, sem, no entanto, desconsiderar os produtos. A função da crítica é educativa, formativa para quem dela participa, visando à reorientação do programa educacional. (Saul, 2001, p. 62).
• 3
  Para aprofundamento sobre a metodologia do discurso do sujeito coletivo, consultar as obras de Fernando Lefèvre e Ana Maria Cavalcanti Lefèvre: a) O discurso do sujeito coletivo: um novo enfoque em pesquisa qualitativa - desdobramentos. Caxias do Sul, RS: Educs, 2005. b) Depoimentos e Discursos: uma proposta de análise em pesquisa social. Brasília, DF: Líber Livro, 2005; c) Pesquisa de representação social: um enfoque qualiquantitativo. Brasília, DF: Líber Livro, 2010.
• 4
  No artigo Programa de Avaliação Institucional da Educação Básica do Paraná: da produção à implementação da política na escola, publicado na revista Estudos em Avaliação Educacional, v. 22, n. 50, p. 435-456, set./dez. 2011, os resultados parciais da pesquisa são apresentados e discutidos os discursos do sujeito coletivo, elaborados a partir dos depoimentos dos sujeitos participantes da pesquisa.

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  19 Maio 2015
• Aceito
  10 Jun 2015