Avaliando a qualidade dos serviços para a infância: uma abordagem participativa¹

Evaluating the quality of the services for children: a participatory approach

Resumo

Serviços educacionais para a infância apresentam certas características específicas que têm consequências importantes para a escolha da abordagem teórica e dos procedimentos para avaliação da sua qualidade. Serão expostas nesta contribuição algumas dessas características e analisadas suas consequências. Apresenta-se aqui o sistema de avaliação da qualidade dos serviços educacionais para a infância desenvolvido e testado em várias cidades italianas, discutindo a abordagem teórica e descrevendo os procedimentos. O sistema inclui a participação das várias partes interessadas na avaliação e se baseia na documentação escrita da experiência de crianças e pais no serviço, produzida, analisada e discutida pelos operadores nas reuniões de colegiado. A avaliação está incluída na atual atividade profissional dos operadores e objetiva implementar suas habilidades de reflexão e introduzir intervenções de inovação nos serviços.

Palavras-chave
avaliação; documentação; participação; reflexividade; intersubjetividade

Abstract

Early childhood education and care services present some specific features that have important implications on theoretical approach and procedures for evaluating their quality. We will present a system of evaluation of ECEC quality designed by our research group and implemented in some Italian municipalities, discussing its approach to evaluation and describing its procedures. In the evaluation process, the participation of different stakeholders (teachers, pedagogical coordinators, managers and parents) is promoted. The system is based on procedures of observations and written documentation of children’s and parents experience collected systematically by ECEC professionals analyzed and discussed during collegial meetings. Evaluation activities are inscribed within the current professional practices of ECEC professionals and are aimed at improving educational practices as well as professionals’ reflexivity.

Keywords
evaluation; documentation; participation; reflectivity; inter-subjectivity

Introdução

Abordar a questão da avaliação da qualidade dos serviços para crianças menores de 6 anos de idade requer o enfrentamento de algumas questões fundamentais. A primeira delas refere-se ao fato de que esses serviços _ que fornecem cuidado e educação de crianças pequenas e que, na experiência italiana, correspondem às creches para crianças menores de três anos e pré-escolas para crianças de três a seis anos, ainda que não sejam obrigatórias, ficando o acesso a critério dos pais –, não podem ser considerados serviços de consumo privado por indivíduos e implicam um interesse coletivo e uma responsabilidade da sociedade no sentido de garantir o bem-estar físico e psicológico das crianças e sua futura inclusão. Avaliar a qualidade desses serviços corresponde a um direito/dever da coisa pública em relação aos seus cidadãos: não se trata apenas de garantir que a qualidade dos serviços educacionais seja suficiente para assegurar os objetivos de bem-estar para todas as crianças, mas também de direcioná-la nesse sentido. Aparecem, portanto, indissoluvelmente vinculadas duas finalidades de práticas de avaliação que são muitas vezes consideradas desarticuladas: o controle da qualidade de um serviço e a sua melhoria.

Atualmente na Itália, como em muitos outros países, várias empresas do setor associativo ou empresas privadas individuais têm apoiado a intervenção do governo no campo dos serviços para a primeira infância. Essa situação afeta as pré-escolas que recebem mais de 90% das crianças entre 3 e 6 anos, sendo que o setor privado, especialmente ligado a expressões da Igreja Católica, fornece 30% das vagas disponíveis. Mas também a oferta para crianças menores de 3 anos, que recebe apenas 22,4% das crianças e é composta principalmente de creches, além de um pequeno número de serviços em meio período ou domiciliar, vê forte presença de empresas privadas, especialmente do mundo das cooperativas sociais. Deve ser dito, no entanto, que, na Itália, a maior parte da oferta privada é também administrada em nome do governo (com base em convenções ou outras formas de contrato) e é geralmente, portanto, uma subsidiária da intervenção pública.

Diante dessa situação, a responsabilidade da coisa pública e com ela o caráter e a finalidade da avaliação da qualidade dos serviços assumem particulares nuances: verificar a qualidade fornecida pelos serviços administrados pela iniciativa privada torna-se um importante controle do compromisso financeiro da instituição pública, enquanto o trabalho para sua melhoria requer novas reflexões e novos procedimentos. Não se pode também ignorar que, na Itália, como em muitos outros países europeus, diferentes níveis da administração pública intervêm no planejamento, na regulação e na gestão dos serviços. Portanto, os procedimentos de avaliação devem ser capazes de responder a perguntas tanto de governança horizontal de serviços educacionais (nomeadamente aquela relativa a todos os serviços existentes no território governado, quais sejam seus gestores) quanto de governança vertical, para a qual diferentes níveis da administração pública são consultados, em conformidade com os deveres recíprocos, mas sempre em termos de confiabilidade, eficiência e transparência mútuas.

Outra ordem de perguntas refere-se a quem tem o direito e o dever de intervir na avaliação de serviços e como regular as relações entre as diferentes partes interessadas. O cuidado e a educação das crianças é um tema particularmente cheio de significados emocionais, culturais e sociais e envolve muitos sujeitos diferentes: os pais das crianças, os prestadores de serviços e aqueles que devem representar os interesses da sociedade, sejam eles tomadores de decisão ou representantes de organizações de participação democrática. Trata-se de sujeitos que partem de posições diversas e que são portadores de crenças, expectativas e demandas potencialmente diferentes. De fato, estas são expressões de interesses coletivos ou privados e podem variar consideravelmente de pessoa para pessoa, de contexto para contexto, estando em contínua transformação, porque influenciadas por mudanças sociais e culturais. Em serviços educacionais para a infância, muitos destes sujeitos compartilham materialmente a responsabilidade pelo cuidado e pela educação das crianças, embora com diferentes funções e/ou identidades pessoais ou de grupo; consequentemente, o diálogo e a discussão entre esses sujeitos são essenciais.

A questão do relacionamento entre os diversos agentes tem implicações tanto para o que diz respeito à definição de qualidade quanto para o que concerne à sua avaliação. Na Europa, essa questão tem sido objeto de intenso debate. Há mais de 25 anos, a Comissão Europeia estabeleceu uma rede para a infância, composta por peritos de vários países europeus, que produziu um documento (European Commission Childcare Network, 1991), no qual se argumentava que a qualidade de serviços de educação deve ser definida dentro de um confronto, virtual ou real, entre operadores e usuários diretos dos serviços, ou seja, os pais ou as próprias crianças. Em um documento mais recente, produzido pela rede de revistas europeias Children in Europe (2007), que, nos anos seguintes, manteve o debate sobre temas da infância nos países europeus, a importância ética e política do estabelecimento de metas e avaliação de serviços para a infância é reconhecida (Musatti, 2016). Ajustar a relação entre os vários interessados nesses processos é essencialmente uma questão de funcionamento democrático da sociedade, e torna-se necessário que todos os cidadãos possam discutir e tomar decisões juntos, mesmo que a partir de perspectivas individuais e culturais diferentes.

Método

Essa perspectiva sugere que, para avaliar os serviços educacionais para a infância, não se pode usar como referência um modelo de prática definido por poucos e que se refere exclusivamente a um percurso normalizado do desenvolvimento infantil. A avaliação deve se referir a uma ideia de boa qualidade, definida em um contexto democrático de participação, em que os vários interessados discutirão quais são os fins dos serviços educacionais para a infância e os objetivos que precisam ser alcançados. Não se trata, portanto, de procurar boas práticas consideradas a priori, mas de analisar a experiência de crianças e pais nos serviços com base nas práticas aplicadas, e julgar se essa experiência é congruente com os objetivos buscados.

Essa perspectiva tem consequências importantes para os métodos escolhidos para atividades de avaliação. Primeiramente, se o objeto da avaliação é a experiência das crianças e dos pais em um serviço educacional, é preciso munir-se de ferramentas adequadas para descrevê-la, a fim de analisá-la e verificar sua adequação quanto ao alcance dos objetivos definidos.

Em relação à qualidade da experiência das crianças, é certo que se acumulou conhecimento articulado no campo da Educação Infantil em que as práticas e a organização de serviços educacionais afetam a experiência social e cognitiva das crianças, tais como: o número de crianças por grupo; o número, a estabilidade e a comportamento de professores; os materiais lúdicos; a organização dos espaços e do mobiliário; e a organização temporal das atividades realizadas. Mas são necessárias mais perguntas: como coordenar todos esses elementos na experiência das crianças em determinado contexto? Nesse contexto as crianças conseguem organizar o seu próprio caminho de conhecimento para dar um significado consistente, e não fragmentado, aos diferentes elementos que experienciam?

Para responder a essas perguntas, torna-se essencial rever as propostas que o ambiente oferece do ponto de vista das crianças, tentando reconstruir sua rota de fruição dessas propostas e o significado que assumem para elas individualmente, sequencialmente e de modo geral. A qualidade da experiência da criança no serviço educacional não é dada, na verdade, pela simples frequência de eventos específicos vividos, de atividades próprias desenvolvidas ou de exclusivas trocas sociais com outras crianças e adultos. Evidencia-se, em vez disso, a partir do significado que esses eventos, essas atividades e essas trocas assumem em um contexto social mais amplo e também em um processo educacional em que todos estes elementos são inseridos. Para avaliar a qualidade da experiência das crianças em um serviço à infância, portanto, não é suficiente se concentrar em aspectos específicos, como o comportamento de uma única criança ou dos adultos que cuidam dela, ou em elementos parciais da situação social, como analisar a frequência com que ocorrem certos tipos de interação ou fazer uma descrição pontual de uma breve linha do tempo vivenciada pela criança.

Trata-se, pelo contrário, de adotar uma perspectiva ampla, que foque todos os atores em cena, nas ações desenvolvidas e no significado abrangente dos eventos em que estão envolvidos. Metáfora possível do percurso de experiência de uma criança em contexto educacional é a de um fio que se desamarra gradualmente e que, em contato com os diversos elementos que compõem o contexto (elementos materiais, organização espaço-temporal do contexto, natureza e tipologia de presenças sociais), pode se romper, enlaçar, engrossar e colorir de modos diferentes. Essa metáfora sugere que a qualidade da experiência da criança em um serviço educacional deve ser avaliada não apenas em função da qualidade das interações sociais e cognitivas individuais em que está envolvida, mas também da coerência e do significado total dessas interações; ou seja, continuando a metáfora, com base no tecido entre elas. A qualidade desse tecido varia de acordo com a qualidade dos fios que o compõem, mas também da urdidura e da trama com que esses fios se entrelaçam. O resultado pode ser uma tapeçaria de desenho harmonioso e multicolorido, feita de fios finos ou uma lona crua feita de fios curtos, cheios de nós e que não traz qualquer desenho. Também é evidente a importância da dimensão temporal da experiência das crianças, que terá lugar na vida cotidiana, mas que combina o valor da evolução no tempo do cotidiano, sempre o mesmo, mas sempre diferente (Emiliani, 2008), com o crescimento de cada criança. Em outras palavras, e sem rodeios, deve-se reconhecer que a qualidade de um serviço educacional provém da qualidade do contexto que, de modo geral, resulta do encontro entre as diferentes experiências de cada criança.

O valor da documentação

Propomos uma avaliação da qualidade dos serviços educacionais para a infância baseada na criação de documentação sistemática da experiência das crianças que considere a globalidade, a complexidade e a dimensão evolutiva dessa experiência. De fato, para ser capaz de julgar sua qualidade é necessário não só observar como ela se desenrolou, mas também reconstruir o significado e a evolução em uma narrativa (Bruner, 1996) e representá-la de modo a permitir recordá-la e analisá-la reiteradamente.

A documentação é uma prática generalizada nos serviços à infância italianos de boa qualidade. Através da documentação, que pode ser feita de muitas maneiras diferentes (fotografias, relatos escritos ou vídeos de atividades, interações ou emoções das crianças ou eventos específicos ocorridos no serviço, produzidos pelas crianças), pretende-se tornar visível e valorizar o trabalho das crianças, aos olhos dos pais ou de outras pessoas, mas também reapresentar às próprias crianças suas experiências passadas e sugerir elaborações futuras. Na abordagem de Reggio Emilia, a documentação é definida como mentalidade orientada a entender as experiências educativas que crianças e adultos vivem em serviços educacionais e a reconstruir o significado em uma narrativa (Rinaldi, 2005; Turner & Wilson, 2009). A produção de documentação e a sua subsequente análise pelos próprios educadores se revelarão do mesmo modo um apoio fundamental para a reflexão (Schön, 1983). Em contribuição anterior (Picchio, Giovannini, Mayer, & Musatti, 2012), mostramos como também pode constituir importante ferramenta de trabalho acadêmico da equipe de operadores, porque oferece uma representação das práticas utilizadas que permite uma melhor compreensão sobre elas, e é útil à sua reformulação. O uso da documentação por parte dos educadores, portanto, é atualmente reconhecido como boa prática profissional e é considerado elemento importante da qualidade de serviço em muitas ferramentas de avaliação desenvolvidas na Itália (Becchi, Bondioli, Centazzo, Cipollone, & Ferrari, 1999; Bondioli & Ferrari, 2008; Istituto degli Innocenti & Regione Toscana, 2006; Marcuccio & Zanelli, 2013).

A documentação que propomos abrange a experiência das crianças em sua complexidade e globalidade e deve ser efetuada com procedimentos rigorosos, para que os documentos produzidos possam constituir material de referência para a avaliação. É nessa documentação que as diversas partes interessadas deverão se basear para verificar se a experiência das crianças se desenvolve em consonância com os objetivos educacionais almejados e para motivar sua avaliação de maneira articulada.

Participantes da avaliação

A expressão de opiniões e de suas motivações ajuda os envolvidos a enfocar sua ideia de qualidade e entender cada um dos outros pontos de vista. Parece óbvio o valor educativo (Scriven, 1967) da atividade de avaliação e seu potencial para empoderamento (Bondioli, 2004; Fetterman, 1994) e esclarecimento (Hanberger, 2006) dos participantes.

Mesmo para os efeitos importantes da avaliação na promoção de habilidades reflexivas, a participação da equipe de educação nas atividades de avaliação deve tornar-se um componente essencial da prática profissional atual. Propomos que essa atividade se baseie na compilação de documentação em torno da experiência das crianças e dos pais, mas que também preveja sua cuidadosa análise e expressão de opiniões que argumentem sobre a qualidade dessa experiência em relação aos objetivos educacionais e sociais almejados. Além disso, porque a mudança, tanto em termos de desenvolvimento infantil quanto em termos de evolução de situações e eventos que ocorrem em contexto educacional, é dimensão essencial da prática desses serviços. É particularmente importante que essa avaliação por parte da equipe de educação não seja esporádica, mas realizada de acordo com um processo contínuo, sistemático e constante e assuma a continuidade e a mudança como unidades fundamentais de análise. Coordenadores pedagógicos têm papel especialmente importante no apoio às atividades de avaliação da equipe de educação, dado que acompanham a reflexão dos educadores sobre suas práticas, além de exercer funções complementares de documentação, análise e avaliação.

Os pais têm uma posição particular nas atividades de avaliação. Muitos sistemas de avaliação da qualidade dos serviços pré-escolares incluem um levantamento das avaliações expressadas pelos pais participantes (OEDC, 2012), bem como de numerosas experiências de avaliação realizadas na Itália (Becchi et al., 1999; Becchi et al., 2000; Bondioli & Savio, 2010). Mas vale ressaltar que interrogar os pais unicamente sobre sua apreciação dos diferentes aspectos do funcionamento e da oferta educativa do serviço não retorna uma imagem adequada de sua condição complexa.

Em primeiro lugar, os pais não são apenas clientes, mas os principais parceiros dos operadores na tarefa de educar a criança. De fato, seu envolvimento no serviço é considerado importante elemento da qualidade do serviço em si (OEDC, 2001, 2006). Na Itália, onde o desenvolvimento de serviços públicos para a infância, sejam creches ou pré-escolas, foi acompanhado por instâncias de participação democrática em sua gestão, o envolvimento parental foi a princípio frequentemente igualado com sua participação em processos de gestão de serviço. Ao longo dos anos aprendeu-se a diferenciar os contextos de gestão participativa (gestão social) do envolvimento com a educação das crianças (Bove, 2007), como oportunidades de intercâmbio comunicativo com os educadores em torno das crianças e de seus hábitos, ocasiões de encontro e debate entre pais ou modos de envolvimento dos pais na experiência das crianças no serviço (Musatti, 2014).

Em segundo lugar, porque o envolvimento dos pais no serviço e suas relações com os operadores podem afetar seu bem-estar e influenciar seu comportamento parental, os pais podem ser considerados usuários diretos do serviço em si (Musatti, Mayer, & Picchio, 2010; Di Giandomenico & Picchio, 2011) e devem ter a oportunidade de expressar sua opinião sobre a experiência vivida. Além disso, porque também a experiência dos pais no serviço é afetada por pluralidade de elementos (organizativos, culturais, afetivos) e evolui com o tempo, sua qualidade, em suas diversas articulações e na sua evolução, deve ser documentada, analisada e avaliada.

Em relação aos operadores e pais, são várias as responsabilidades e as modalidades de participação de outros interessados, que são variadamente portadores de perspectiva coletiva e responsabilidade social e que intervêm em diferentes momentos nas atividades de avaliação. Referimo-nos aos representantes de organizações de participação democrática, que interferem especialmente na definição de finalidades e objetivos sociais e educativos de serviços educacionais e em sua eventual revisão, e gestores de empresas privadas e da administração pública, que entram em jogo durante as verificações finais sobre a qualidade de um serviço, garantindo o investimento social e protegendo o bem-estar das crianças, e quando opiniões motivadas por outros participantes da avaliação são sintetizadas e discutidas quanto às intervenções de melhoria da qualidade do serviço.

A participação de vários agentes na avaliação, envolvidos em várias capacidades no serviço e com interesses potencialmente concorrentes e pontos de vista muitas vezes divergentes, gera outra questão crucial: a da objetividade da avaliação. Um dos pontos focais da pergunta diz respeito à dinâmica entre avaliação interna – envolvendo os diretamente implicados na execução do processo educacional, como educadores ou responsáveis pelo serviço, e que recai mais imediatamente sobre a melhoria do serviço, mas corre o risco de subjetividade excessiva e egocentrismo – e avaliação externa – considerada por muitos a mais objetiva e mais adequada para o desempenho de funções de controle. Com relação a este assunto, acreditamos que a dimensão objetiva da avaliação não deve ser procurada na separação entre avaliação interna e externa, nem na distinção entre avaliação que visa a melhorias e aquela que visa ao controle. Acreditamos que a arbitrariedade do julgamento seja ultrapassada no debate intersubjetivo entre todos os agentes (Plottu & Plottu, 2009), internos ou externos, construído de acordo com procedimentos rigorosos que considerem as diferentes posições e as responsabilidades em relação ao serviço. Nesta perspectiva, mesmo o papel de peritos externos deve mudar radicalmente: eles não mais serão portadores de conhecimento outro e hierarquicamente superior, mas aqueles que assumem, eventualmente, a tarefa de acompanhar e apoiar as atividades dos diferentes agentes da avaliação.

Documentar, analisar e avaliar

A partir dessas considerações, nosso grupo de pesquisa em Desenvolvimento Humano e Sociedade no ISTC-CNR desenvolveu um sistema de avaliação dos serviços educacionais de primeira infância e o implementou em várias cidades italianas, contextualizando-o de acordo com as características do sistema de serviços para a infância em cada território.²Esse sistema se baseia na reunião sistemática de documentação sobre a experiência das crianças e dos pais nos serviços e sobre procedimentos de análise e avaliação da qualidade dessa experiência em um percurso que envolve vários agentes (Picchio, Di Giandomenico, & Musatti, 2014).

O percurso é dividido em três fases: 1) definição de metas e planejamento das intervenções; 2) narrativa e análise da experiência de crianças e pais; 3) momentos de avaliação geral. Em cada fase, a documentação escrita desempenha um papel fundamental, porque permite representar o objeto de avaliação, descrever práticas educativas projetadas e realizadas e seu efeito sobre a experiência de pais e filhos, e rastrear as reflexões e as opiniões expressas pelos diversos interessados, tornando-as visíveis aos participantes da avaliação. Toda a documentação produzida durante as três fases do percurso foi reunida em um único documento, chamado Dossiê do serviço. Para equalizar a elaboração da documentação e permitir comparações eficazes entre os participantes, alguns aspectos foram propostos, a fim de orientar o olhar dos operadores sobre as dimensões constitutivas do funcionamento de um serviço educacional, incentivá-los a narrar a experiência das crianças e dos pais, e apoiá-los na reflexão sobre os resultados de suas próprias intervenções. No âmbito de cada experiência de implementação de nosso sistema em diferentes contextos territoriais, esses aspectos foram discutidos com as partes interessadas, tanto em relação ao conteúdo quanto em seu modo de uso, considerando a cultura pedagógica e a organização do sistema de serviços à infância apropriados para cada contexto.

A primeira fase da avaliação consiste no planejamento, que envolve a produção de uma documentação escrita em que os operadores do serviço explicitam os objetivos que visam atingir e definem as intervenções que pretendem executar para alcançá-los. Na maioria dos territórios em que implementamos nosso sistema, os objetivos gerais e as metas educacionais que os serviços à infância foram chamados a alcançar foram definidos no projeto pedagógico, um documento obrigatório elaborado de diferentes maneiras por ato formal, disposto em contextos participativos diversos (por exemplo, por meio de órgãos representativos). É importante salientar que esse documento não substitui ou se sobrepõe ao planejamento produzido por cada serviço individual; em vez disso, fornece orientações para os operadores projetar de forma contextualizada suas práticas no que diz respeito tanto a procedimentos organizacionais quanto a intervenções educativas. Isso não significa que todos os serviços sejam impelidos a, com base no projeto pedagógico, planejar sequências preestabelecidas é- de intervenções para que as crianças atinjam metas específicas de desenvolvimento ou aprendizagem. Em vez disso, tendo como referência as finalidades e os objetivos gerais declarados no projeto, cada serviço é chamado a definir, no início do ano letivo, objetivos educacionais a serem alcançados, considerando as especificidades do grupo de crianças e famílias com que trabalharão e as respectivas práticas necessárias para alcançá-los. Em outras palavras, trata-se de definir objetivos e estratégias educativas e organizacionais contextualizadas. Esse planejamento, no entanto, é reconhecido por muitos estudiosos como elemento de qualidade de serviço e como atividade estreitamente ligada à avaliação (Becchi, Bondioli, & Ferrari 2002; Savio, 2013).

Em nosso sistema de avaliação, a definição por escrito de cada projeto por cada serviço é um passo essencial para permitir o debate entre os vários participantes. A atividade de projeto chama, na verdade, os operadores a refletir e discutir conjuntamente os objetivos a atingir e as estratégias a serem implementadas, explicitando-os em um documento disponibilizado para outros interessados, pais e administradores. Além disso, o documento resultante não é um material para ser registrado e armazenado de uma vez por todas; é, pelo contrário, a referência para analisar e discutir periodicamente os efeitos sobre a experiência de crianças e pais das estratégias educativas dos operadores, para reformular e reorientar as práticas em curso.

Os aspectos propostos para orientar a elaboração do planejamento ao início do ano letivo impelem os operadores a explicitar os objetivos e as estratégias educacionais e organizacionais em relação às características que suportam a prestação de serviço educacional: estruturação e organização de ambientes; preparação do mobiliário e de materiais de exploração e jogos; organização da recepção inicial das crianças e suas famílias; organização temporal do dia; organização de grupos de crianças e operadores em seções; estratégias e intervenções para estabelecer relações positivas com as famílias e promover sua participação no serviço; organização do trabalho. Dependendo do aspecto considerado, a atividade de elaboração e documentação do planejamento é realizada coletivamente por educadores de todo o serviço ou de seções individuais, em colaboração com os coordenadores pedagógicos.

Na segunda fase do percurso de avaliação, operadores são chamados a documentar sistematicamente a experiência de crianças e pais no serviço. Essa fase ainda privilegia a documentação escrita, que permite reconstruir os aspectos fundamentais dessa experiência sob a forma de uma narrativa que, por sua vez, constituirá a base sobre a qual vários participantes poderão discutir e expressar suas opiniões sobre a qualidade do serviço. Propomos o uso de diversas ferramentas de documentação³.

O primeiro é o Diário de educadores. O Diário contém a narrativa das experiências de crianças e pais, escrita por educadores como participantes nos eventos descritos e diretamente envolvidos no relacionamento educacional com as crianças e em suas relações com os pais. O Diário não é, portanto, o relato de um observador, mas mantém a perspectiva de um agente que participou ativamente da situação descrita. Por outro lado, no entanto, não se trata de um diário que recolhe as vivências pessoais impregnadas de emoções dos adultos que compartilharam um segmento da vida cotidiana com um grupo de crianças. Nem se trata de um documento no qual os educadores relatam práticas educativas executadas. A redação do Diário se baseia, ao contrário, em uma atividade de observação orientada a colher elementos significativos da experiência de crianças e seus pais, considerando os diferentes aspectos em que estão organizados e considerando sua evolução ao longo do tempo.

O que é relatado no Diário é o resultado da discussão entre os educadores da seção que cuida do grupo de crianças; de fato, o Diário também pode ser redigido por uma única pessoa, mas sempre a partir de um momento de debate coletivo. Esse debate é feito no final de cada semana durante todo o ano letivo. A semana é uma unidade temporal bem definida na vida das crianças em um serviço educacional: tem seus ritmos e apresenta uma evolução própria que está bem delimitada pelos dois “parênteses” que são os fins de semana que a criança viveu inteiramente em família. Raciocinar na seção sobre a experiência das crianças durante a semana também permite aos educadores tomar distância necessária da experiência em que participaram em primeira pessoa e em um papel importante.

No Diário os educadores documentam os comportamentos e as atividades das crianças no curso da vida cotidiana durante a semana, lembrando elementos principais relacionados a seis áreas temáticas ou dimensões da experiência infantil: transições entre serviço e família; dinâmicas sociais entre crianças e educadores; atividades infantis; cuidados; uso do espaço; e uso do tempo. Trata-se de restituir uma representação da experiência das crianças que, sem trair a realidade observada, também permita uma interpretação. Ou seja, os educadores são chamados a construir uma narrativa, abordando cada uma dessas questões e também colhendo todas as eventuais ligações entre elas.

Também a qualidade da experiência dos pais no serviço e a sua evolução – em termos de conquista da tranquilidade e da serenidade, de construção de relacionamentos harmoniosos com os educadores e com outros pais e de participação no serviço – podem ser documentadas no Diário ou em outro documento, Relatório sobre as relações com os pais, redigido em periodicidade diversa (por exemplo, mensalmente).

É importante notar que a elaboração coletiva do Diário habilita a reflexividade de educadores para identificar a relação entre a evolução da experiência das crianças e dos pais no serviço e as práticas realizadas. Um efeito imediato do uso dessa ferramenta é, então, a reformulação de intervenções educacionais de semana a semana para obter resultados que estejam em consonância com os já alcançados. Assim, a documentação não é apenas compatível com as atividades dos educadores, mas torna-se um suporte para seu trabalho, em vez de uma função adicional (Picchio, 2016).

Uma perspectiva diferente sobre a experiência cotidiana das crianças é a oferecida por outra ferramenta que complementa eficazmente o Diário de educadores. Trata-se do Relatório de observação, que é baseado na observação de um dia inteiro no serviço e narra detalhadamente suas especificidades e singularidades. Enquanto o Diário mantém a perspectiva do agente na situação descrita, o Relatório de observação exige de quem o redige que se coloque em posição exclusivamente de observador, sem participar diretamente. Mesmo nesse caso, no entanto, a redação do documento é feita em um momento posterior à observação, e a narrativa da experiência das crianças durante o dia não segue a ordem cronológica em que os eventos ocorreram, mas é reorganizada em torno das mesmas seis áreas temáticas do Diário. No Relatório de observação, a dimensão avaliativa é evidente, porque em cada área temática os eventos devem primeiro ser descritos e então julgados em relação aos objetivos educacionais buscados pelo serviço, fornecendo um argumento de decisões que deve se basear no que é descrito. Isso significa não só que o Relatório de observação é uma ferramenta que pode ser usada de forma independente de outros instrumentos, mas também que é particularmente adequado para o papel do coordenador pedagógico, que não participa da experiência das crianças, mas tem a tarefa de apoiar e orientar as práticas realizadas por educadores. Mesmo no caso do Relatório de observação, é importante que seja produzido por duas pessoas, como dois coordenadores ou o coordenador e um educador, que discutam o que tem sido observado, como narrá-lo e, claro, como avaliá-lo.

Tanto os Diários de educadores quanto os Relatórios de observação produzidos durante o ano são reunidos sistematicamente no Dossiê do serviço.

A terceira fase da avaliação dedica-se à expressão das opiniões. Nessa fase também se vê a participação de vários interessados de maneiras e em momentos diferentes.

Os educadores e os coordenadores pedagógicos são chamados, em momentos de debate intersubjetivo, para expressar seus julgamentos sobre os diferentes aspectos em que são articuladas a oferta educativa do serviço e as estratégias organizacionais e educacionais. Essas opiniões devem ser expressas em forma de argumento. Portanto, a formulação do juízo deve ser precedida por uma leitura longitudinal e por uma análise integrada de toda a documentação recolhida nos vários meses (Diários, Relatórios de observação, Relatórios sobre as relações com os pais) para reconstruir o processo de experiência das crianças e dos pais no serviço em seus vários aspectos e reunir os elementos de continuidade e de mudanças ao longo do tempo. Com base na análise da documentação, os operadores podem verificar se a experiência das crianças e dos pais tem sido coerente com os objetivos educacionais declarados na fase de planejamento e motivar suas avaliações sobre sua qualidade.

Também nesse caso são propostos alguns aspectos que impelem os operadores a executar as duas operações sucessivamente: a leitura sequencial da documentação produzida durante o período considerado e a identificação dos pontos fortes e fracos da experiência oferecida às crianças e aos pais, para, em seguida, definir medidas para sua melhoria. Ambas as operações devem ser realizadas coletivamente, porque cada um traz seu próprio ponto de vista e deve compará-lo àquele dos outros. Para que essas atividades se desenvolvam com rigor, devem ser planejadas cuidadosamente, com reuniões específicas entre os operadores de uma seção, um serviço ou vários serviços, com programação significativa em comparação à evolução da experiência das crianças e dos pais ou à realização dos vários aspectos organizacionais previstos no projeto; por exemplo, avaliar a experiência de pais e filhos durante a inserção quando a maioria das crianças frequenta o serviço em ritmo regular, então se pode verificar se a organização do ambiente suporta a interação das crianças no jogo depois de alguns meses do início do ano letivo.

Também é necessário que as opiniões expressas e seus argumentos sejam documentados e incluídos no Dossiê para que possam ser considerados na próxima reformulação de intervenções educacionais e no momento da avaliação geral. Com base nesta documentação, de fato, no final do ano letivo e sempre durante uma reunião, os educadores e os coordenadores pedagógicos julgam de maneira abrangente a qualidade da experiência oferecida às crianças e aos pais, em seus diferentes aspectos, e discutem possíveis melhorias.

No final do ano também os pais são chamados a opinar de modo geral sobre a experiência oferecida pelo serviço. Em nosso sistema de avaliação, propomos estimular os pais a expressar seu ponto de vista, oferecendo-lhes um questionário, ferramenta que permite o envolvimento de muitas famílias e que, portanto, é capaz de oferecer um panorama abrangente da qualidade percebida por usuários de todo um território sobre os serviços para a infância (Scopelliti & Musatti, 2013).

No questionário elaborado por nós, percebe-se que os pais estão envolvidos com o serviço em dois níveis: pelo seu interesse em garantir a seu filho uma boa experiência de cuidado e educação, e como pai que pode encontrar no serviço um ambiente de recepção positiva, em que pode construir com os educadores uma aliança para a educação de seu filho e uma rede de relacionamentos com outros pais. Esse duplo posicionamento dos pais se reflete na articulação das perguntas. Além disso, apesar de o questionário ser em si um instrumento frio, porque é preenchido pelo pai a distância, preparamos uma versão destinada a incentivar a reflexão do pai, guiando-o a repensar os vários aspectos que compõem sua própria experiência e a de seu filho no serviço, e estimulando-o a declarar também dificuldades ou desconfortos eventualmente experimentados. O questionário que desenvolvemos também apresenta oportunidade para que o pai articule suas opiniões sobre diversos aspectos da experiência no serviço e sobre sua organização, fornecendo um espaço não estruturado para a livre expressão de opiniões e propostas. Esta oportunidade pode ser mais bem apoiada ao chamar os pais para participar de reuniões de grupo, realizadas de acordo com a técnica de grupos focais por uma figura preferencialmente externa ao serviço (como o coordenador pedagógico), que é responsável por estimular os pais, de forma não diretiva, a expressar seu ponto de vista sobre diferentes aspectos do funcionamento do serviço, de modo a facilitar a comunicação e a discussão entre os participantes e garantir um ambiente informal e de escuta recíproca, em que todos possam se sentir livres para contar sua experiência no serviço e, na troca com os outros, aprofundar as motivações de seus julgamentos sobre sua qualidade.

A análise das opiniões expressadas pelos pais no questionário ou em reuniões de grupo deve encontrar espaço no Dossiê do serviço e ser discutida pelos operadores em encontros coletivos para refletir tanto sobre a experiência oferecida às crianças, considerando também o ponto de vista dos pais, quanto sobre a relação estabelecida com os pais e quaisquer problemas encontrados por eles.

A avaliação pode ser finalmente sintetizada na avaliação geral dos administradores do serviço ou do sistema de serviços educacionais para a infância, que garantem sua boa qualidade perante a comunidade e seus representantes e têm a responsabilidade final de controlar a qualidade dos serviços. Em nosso sistema, os administradores são chamados para considerar o Relatório final, um documento em que os coordenadores pedagógicos sintetizam os julgamentos de qualidade já expressos por outros interessados e registrados no Dossiê do serviço, realçando ambos: os pontos fortes e as críticas ao serviço. Isso permite que os administradores finalizem o controle de qualidade do serviço visando à sua melhoria, propondo aos operadores (educadores, coordenadores pedagógicos e gerentes de serviço) desenvolver e compartilhar o projeto de intervenções inovadoras.

Conclusão

O sistema de avaliação que projetamos encontrou seu valor específico na implementação flexível em diferentes sistemas de serviços educacionais para a infância. Em cada cidade ou região onde foi implementado era, de fato, necessário primeiramente analisar a arquitetura específica de gerenciamento de serviços para primeira infância para esse território, a rede existente de serviços e sua consistência, as práticas de avaliação anteriormente utilizadas e sua influência sobre a prática profissional dos docentes, o papel dos coordenadores pedagógicos e seu envolvimento em atividades de avaliação, os recursos disponíveis em termos de tempo de trabalho dos educadores e os procedimentos administrativos necessários. Esta análise revelou-se absolutamente necessária a fim de tornar sustentável a atividade de avaliação na prática profissional de todos os operadores envolvidos, em primeiro lugar os educadores e os coordenadores pedagógicos. Mas revelou-se também fundamental para definir a forma de inserir a participação dos vários interessados na terceira etapa do percurso, integrando os diferentes momentos de avaliação em uma sequência eficaz e eficiente. Tratou-se, igualmente, de tornar as atividades propostas compatíveis com o contexto cultural local, formulando os aspectos necessários ao planejamento e à documentação da experiência das crianças e dos pais em relação aos valores e aos objetivos educacionais buscados naquele contexto, e ajustar as formulações de aspectos e perguntas para estimular a expressão das opiniões dos vários agentes, incluindo as questões para identificar a percepção de qualidade dos pais. Para executar essas intervenções e ações foi sempre essencial trabalhar em estreita colaboração com os responsáveis em diferentes níveis do sistema local de serviços (diretores, executivos e coordenadores pedagógicos) não só para colher as informações necessárias, mas também e, sobretudo, para projetar e verificar detalhadamente a progressão das atividades de avaliação propostas. Nessa perspectiva, portanto, nosso compromisso sempre se configurou como ação de pesquisa-ação, caracterizada pelo modo participativo (Reason, 2006) durante o projeto e a fase de implementação do percurso de avaliação.

• 1
  Submissão original em italiano (Valutare la qualità dei servizi per l’infanzia: un approccio partecipativo). Traduzido por Andressa Picosque (Tradutora; bacharela em Letras Português-Italiano pela Universidade de São Paulo; Tikinet; São Paulo, SP, Brasil.).
• 2
  O sistema foi usado para avaliar a qualidade dos Centri per Genitori e Bambini e dos Spazio Bambini na região da Úmbria (Musatti, 2001), dos serviços de educação de infância estabelecidos no município de Roma (Di Giandomenico, Picchio, & Musatti, 2015) e das creches do município de Parma (grupo de pesquisa Desenvolvimento Humano e Sociedade do ISTC-CNR, 2012).
• 3
  Para uma descrição pontual dessas ferramentas, recomenda-se Di Giandomenico, Musatti, & Picchio (2011).

Referências

• Becchi, E., Bondioli, A., Centazzo, R., Cipollone, L., & Ferrari, M. (1999). Strumenti e indicatori per valutare il nido. Un percorso di analisi della qualità di un servizio educativo in Umbria Bergamo: Edizioni Junior.
• Becchi, E., Bondioli, A., Centazzo, R., Ferrari, M., Gariboldi, A., & Ghedini, P. (2000). Gli indicatori di qualità della Regione Emilia Romagna Bergamo: Edizioni Junior.
• Becchi, E., Bondioli, A. & Ferrari, M. (2002). Il progetto pedagogico del nido e la sua valutazione Azzano San Paolo (BG): Edizioni Junior.
• Bondioli, A. (2004). Valutare. In A. Bondioli, & M. Ferrari (Eds.), Verso un modello di valutazione formativa (pp. 11-58). Bergamo: Edizioni Junior.
• Bondioli, A., & Ferrari, M. (2008). AVSI. Autovalutazione della scuola dell’infanzia Azzano S. Paolo (BG): Edizioni Junior.
• Bondioli, A., & Savio, D. (Eds.) (2010). Partecipazione e qualità Parma: Edizioni Junior-Spaggiari.
• Bove, C. (2007). Parent Involvement. In R. S. New, & M. Cochran (Eds.), Early Childhood Education. An International Encyclopedia (Vol. 4, pp. 1141-1145). Westport (CT): Praeger Publishers.
• Bruner, J. (1996). The culture of education Cambridge: Harvard University Press.
• Children In Europe (2007). Young children and their services: developing a European approach. Policy Paper.
• Di Giandomenico, I., Musatti, T., & Picchio, M. (2011). Analizzare la qualità dell’esperienza quotidiana dei bambini nei servizi educativi per l’infanzia: la documentazione scritta. In EADAP (Ed.), Guida metodologica ERATO. Accogliere la diversità nei servizi educativi per l’infanzia (pp. 49-61). Parma: Edizioni Spaggiari.
• Di Giandomenico, I.. & Picchio, M. (2011). La place des parents dans l'évaluation de la qualité des services éducatifs pour la petite enfance. In E. Catarsi, & J.P. Pourtois (Eds.), Educazione familiare e servizi per l’infanzia / Education familiale et services pour l'enfance, XIII Congresso Internazionale AIFREF 2010 (pp. 272-274). Firenze: Firenze University Press.
• Di Giandomenico, I., Picchio, M., & Musatti, T. (2015). Costruire e consolidare il sistema integrato dei servizi per l’infanzia: il ruolo delle attività di valutazione. In A. Bondioli, & D. Savio (Eds.), La valutazione di contesto nei servizi per l’infanzia italiani (pp. 195-211). Parma: Edizioni Junior-Spaggiari.
• Emiliani, F. (2008). La realtà delle piccolo cose Psicologia del quotidiano Bologna: Il Mulino.
• European Commission Childcare Network. (1991). Quality in Services for Young Children: A Discussion Paper. Brussels: European Commission, Equal Opportunities Unit.
• Fetterman, D.M. (1994). Empowerment Evaluation. Evaluation Practice, 15, 1-15.
• Gruppo di Ricerca Sviluppo Umano e Società dell’ISTC-CNR (2012). Documentare, analizzare e valutare la qualità dell’esperienza quotidiana dei bambini al nido Roma: Istituto di Scienze e Tecnologie della Cognizione, Consiglio Nazionale delle Ricerche.
• Hanberger, A. (2006). Evaluation of and for democracy. Evaluation, 12, 17-37.
• Istituto degli Innocenti, & Regione Toscana (2006). La qualità dei servizi per la prima infanzia Firenze: Istituto degli Innocenti.
• Marcuccio, M., & Zanelli, P. (Eds) (2013). Sguardi sul nido Parma: Edizioni Junior-Spaggiari.
• Musatti, T. (2001). I servizi integrativi al nido. In L. Cipollone (Ed.), Il monitoraggio della qualità dei servizi per l’infanzia e l’adolescenza (pp. 63-156). Bergamo: Edizioni Junior.
• Musatti, T. (2014). Genitori e servizi educativi 0-6: oltre il problema dell’accesso. In Transatlantic Forum on Inclusive Early Years, I genitori negli spazi di vita dell’infanzia. Idee condivise (n.3, pp. 143-148). Padova: Compagnia di San Paolo e Fondazione Zancan.
• Musatti, T. (2016). Principle 7. Evaluation: participatory, democratic and transparent. Dossier of Children In Europe, 1-8.
• Musatti, T., Mayer, S. & Picchio, M. (2010). Partager l'éducation de son enfant: avec qui et pourquoi ? La voix des parents. In S. Rayna, M.N. Rubio, & H. Schedu (Eds.), Parents-professionnels: la coéducation en question (pp. 97-103). Toulouse: Édition Érès.
• OEDC (2001). Starting Strong I: Early Childhood Education and Care Paris: OEDC Publishing.
• OEDC (2006). Starting Strong II: Early Childhood Education and Care Paris: OEDC Publishing.
• OEDC (2012). Starting Strong III: A Quality Toolbox for Early Childhood Education and Care Paris: OEDC Publishing.
• Picchio, M. (2016). La documentazione narrativa nei servizi per l’infanzia. In P. Sposetti, & G. Szpunar, Narrazione e educazione (pp. 41-53). Roma: Edizioni Nuova Cultura.
• Picchio, M., Di Giandomenico, I., & Musatti, T. (2014). The use of documentation in a participatory system of evaluation. Early Years: An International Research Journal. 34 (2), 133-145.
• Picchio, M., Giovannini, D., Mayer, S., & Musatti, T. (2012). Documentation and analysis of children's experience: an ongoing collegial activity for early childhood professionals. Early Years: An international Journal of Research and Development. 32 (2), 59-170.
• Plottu, B., & Plottu, E. (2009). Approaches to participation in evaluation: Some conditions for implementation. Evaluation, 15, 343-359.
• Reason, P. (2006). Choice and quality in action research practice. Journal of Management Inquiry. 15(2), 187-203.
• Rinaldi, C. (2005). In dialogue with Reggio Emilia: Listening, researching and learning London: Routledge.
• Savio, D. (2013). Il progetto pedagogico del nido. La valutazione pedagogica. Quaderno n.31 del Servizio Politiche familiari, Infanzia e Adolescenza, Regionale Emilia-Romagna, 49-57.
• Schön, D.A. (1983). The reflective practitioner New York: Basic Books.
• Scopelliti, M., & Musatti, T. (2013). Parents’ view of child care quality: values, evaluations, and satisfaction. Journal of Child and Family Studies. 22(8), 1025-1038.
• Scriven, M. (1967). The methodology of evaluation. In R.W. Tyler (Ed.), Perspectives of Curriculum Evaluation (pp. 39-83). Chicago, Il: Rand McNally.
• Turner, T., & Wilson, D. G. (2009). Reflections on documentation: A discussion with thought leaders from Reggio Emilia. Theory Into Practice. 49(1), 5-13.

Datas de Publicação

• Publicação nesta coleção
  May-Aug 2018

Histórico

• Recebido
  25 Jan 2017
• Aceito
  04 Out 2017