Modelo de avaliação do desempenho da administração da escola sob os critérios de eficiência, eficácia, efetividade e relevância

Evaluation model of school management performance under the criteria of efficiency, effectiveness, responsiveness and relevance

Modelo de avaliação do desempenho da administração da escola sob os critérios de eficiência, eficácia, efetividade e relevância

Evaluation model of school management performance under the criteria of efficiency, effectiveness, responsiveness and relevance

Maria Gorete Brotti^I; Jair dos Santos Lapa^II

^IDra. em Engenharia da Produção. Profa. Convidada no Programa de Pós-Graduação Stricto Sensu em Engenharia Agrícola da Universidade Estadual do Oeste do Paraná. E-mail: [e-mail]

^IIDr. em Engenharia Industrial. Prof. da UFSC (Aposentado). Depto. de Engenharia de Produção. E-mail: [e-mail]

RESUMO

Este é um estudo sobre a avaliação do desempenho da administração da escola como organização sob os critérios de eficiência, eficácia, efetividade e relevância, considerados simultaneamente. Tal desempenho pode ser avaliado através de uma fronteira de desempenho construída com o emprego de um modelo de programação linear, baseado no Modelo Espacial de Quinn e Rohrbaugh e no Paradigma Multidimensional de Sander. O Modelo de Avaliação do Desempenho da Administração da Escola apresentado neste paper agrega indicadores de eficiência, eficácia, efetividade e relevância em um escore único e foi aplicado para avaliar o desempenho administrativo das escolas catarinenses de ensino médio. A aplicação do Modelo proposto calculou escores e metas de desempenho administrativo ótimo para as escolas, e identificou as escolas de referência e a correspondente fronteira empírica de desempenho administrativo da rede escolar estudada. Os resultados demonstraram a validade do Modelo como instrumento de avaliação da administração da escola.

Palavras-chave: Avaliação; Desempenho administrativo; Administração escolar; Análise envoltória de dados.

ABSTRACT

The management performance of educational organizations is studied, by simultaneously considering the criteria of efficiency, effectiveness, responsiveness and relevance. Such performance is analyzed through a performance frontier built from a model of data envelopment analysis, based on Quinn and Rohrbaugh's Spatial Model, as well as on Sander´s Multidimensional Paradigm. The Model for Evaluation of Educational Organizations Management Performance proposed joins efficiency, effectiveness, responsiveness and relevance indicators in a single performance score. It has been applied to the evaluation of the management performance of high schools in the state of Santa Catarina, Brazil. The Model has provided performance scores and optimal management performance goals for the evaluated schools. It has also identified the reference schools and correspondent management performance empiric frontier for the set of schools. The results illustrate the validity of the Model as an instrument for the evaluation of management performance aiming at the quality improvement of educational organizations.

Key-words: Evaluation; Educational management performance; Educational administration; Data envelopment analysis.

1 Introdução

O cenário educacional brasileiro está demarcado por preocupações relacionadas à qualidade da educação e ao desempenho das organizações educacionais. A qualidade da educação relaciona-se à missão das instituições educacionais e à formação social, humana e profissional dos estudantes. Assim, a avaliação dessa qualidade é muito complexa, pois associa-se ao entendimento de a escola ser um espaço de formação pela incorporação da herança cultural da humanidade. Por sua vez, o desempenho das organizações educacionais refere-se à qualidade da administração da escola como organização, portanto, a apenas uma das dimensões da avaliação da educação. Esta pesquisa trata de tal desempenho.

Para Sander (1995), o desempenho da administração da educação pode ser definido a partir de distintas perspectivas conceituais e dimensões analíticas, que refletem aspectos analiticamente diferentes de um conceito totalizador e compreensivo de qualidade da administração da educação. É possível avaliar essa administração em termos substantivos, instrumentais, individuais ou coletivos. Em termos substantivos, a avaliação estuda a consecução dos fins e dos objetivos políticos e sociais; em termos instrumentais, o grau de eficiência e eficácia dos métodos e das tecnologias empregadas no processo educacional; em termos individuais, a contribuição da educação ao desenvolvimento da liberdade subjetiva e do interesse pessoal; em termos coletivos, a contribuição da educação à promoção da eqüidade social e do bem comum. A articulação dessas dimensões possibilita a formulação de um conceito de qualidade da administração da educação, onde " a dimensão instrumental é subsumida pela dimensão substantiva e a dimensão individual está estreitamente vinculada à dimensão coletiva." (p. 154).

Nesse contexto, são pressupostos que a administração da educação é multidimensional e interdisciplinar e que o desempenho das organizações educacionais deve ser avaliado a partir de múltiplos critérios. Por conseguinte, são justificadas as hipóteses que a administração da escola como organização é multidimensional e que sua avaliação pode fundamentar-se em indicadores que caracterizem sua eficiência, eficácia, efetividade e relevância.

Nessa direção, esta pesquisa mostrou que o desempenho da administração da escola como organização, sob os critérios de eficiência, eficácia, efetividade e relevância simultaneamente, pode ser avaliado através de uma fronteira de desempenho. Para tanto, a pesquisa objetivou construir um modelo de avaliação do desempenho da administração da escola como organização, baseado na teoria de fronteiras de produção múltipla, que agregasse os indicadores de eficiência, eficácia, efetividade e relevância em um escore único, calculado com programação linear.

O modelo é quantitativo e limitado à avaliação do desempenho administrativo das escolas. Ele não deve ser aplicado para avaliar outras dimensões da educação, pois analisa aspectos quantitativos necessários para avaliar a administração escolar, mas que não são suficientes para avaliar a escola como instituição educacional. O aspecto institucional refere-se aos fins e o aspecto organizacional aos meios. O compromisso da organização é com o saber-fazer instrumental e o resultado prático. A prioridade é a eficiência, a eficácia, a gestão, o planejamento. Esta pesquisa utilizou o método comparativo por ele ser inerente aos estudos que constroem fronteiras empíricas e possibilitar o estudo das relações entre as variáveis no contexto das organizações educacionais. É uma pesquisa de avaliação predominantemente somativa pois analisa os resultados atingidos pelas organizações educacionais, por meio de técnicas de análises estatísticas tradicionais e de programação linear¹, que possibilitam a construção de indicadores para a avaliação da administração escolar.

A abordagem Análise Envoltória de Dados, conhecida internacionalmente como Data Envelopment Analysis (DEA)², utiliza programação linear na construção de fronteiras não-paramétricas lineares por partes. Essas fronteiras são de especial aplicação a organizações que empregam múltiplos recursos para gerar múltiplos resultados nos casos em que há recursos e resultados sem preço de mercado ou cujos valores relativos são de difícil mensuração, como ocorre com o setor educacional. Além das aplicações tradicionais envolvendo medidas de eficiência relativa, a DEA tem sido usada para análise de situações gerais de decisões que envolvem múltiplos critérios. A construção do modelo de avaliação do desempenho da administração da escola é baseada na teoria de fronteiras de produção múltipla, mais especificamente, na abordagem DEA. O objeto de análise é a administração das escolas brasileiras. O estudo empírico foi realizado com os dados de todas as escolas de ensino médio de Santa Catarina, que participaram do exame do Sistema de Avaliação da Educação Básica em 2001, e com os dados dessas escolas disponíveis no Censo Escolar brasileiro de 2002.

A seguir, é apresentado o Modelo Espacial de Análise do Desempenho das Organizações de Quinn e Rohrbaugh (1983) e justificada a adoção desse Modelo como suporte teórico da pesquisa. Após, é apresentado o Paradigma Multidimensional de Administração da Educação de Sander (1982) e aplicado esse Paradigma, associado ao Modelo Espacial, na construção do Modelo de Avaliação do Desempenho da Administração da Escola (MADAE), com as respectivas análises dos resultados obtidos. Por último, são tecidas as considerações finais.

2 O Modelo Espacial de Análise do Desempenho das Organizações

Quinn e Rohrbaugh (1983) construíram o Modelo Espacial de Análise do Desempenho das Organizações. O Modelo Espacial rompeu com os fatores analíticos empregados nos estudos anteriores do desempenho organizacional e tornou explícitas e precisas noções implícitas e abstratas de vários teóricos, ou seja, o quê eles realmente pensavam sobre o constructo desempenho. Esse Modelo focaliza a estrutura cognitiva dos teóricos organizacionais, não a estrutura operacional da organização, e classifica os critérios do desempenho organizacional de acordo com três dimensões. A primeira relaciona-se à estrutura organizacional, que passa de uma ênfase na estabilidade para uma ênfase na flexibilidade. A segunda relaciona-se ao foco organizacional, que passa de uma ênfase micro e interna no bem estar e desenvolvimento das pessoas na organização para uma ênfase macro no bem estar e desenvolvimento da própria organização. A terceira relaciona-se aos fins e meios organizacionais, que passa de uma ênfase nos processos (a exemplo, planejamento e metas fixadas) para uma ênfase nos resultados finais (a exemplo, produtividade). Essas dimensões são ortogonais entre si e representam propriedades estruturais (centralização/descentralização), orientações da atenção da organização (foco interno/externo) e relação entre meios e fins organizacionais para alcançar resultados.

Tais dimensões formam conjuntos de valores que são reconhecidos dilemas na literatura e na vida organizacional. O primeiro expressa as competições flexibilidade versus estabilidade; ordem e controle versus mudança e inovação; autoridade, estrutura e coordenação versus diversidade, iniciativa individual e adaptabilidade organizacional, que estão no âmago da maioria dos debates em sociologia, ciência política e psicologia. O segundo conjunto de valores expressa a competição interno versus externo. Do ponto de vista externo, a organização é uma ferramenta logicamente desenhada com o objetivo último de realizar suas tarefas, adquirindo os recursos necessários. A ênfase está na competitividade global da organização e, algumas vezes, nas mudanças ambientais. Do ponto de vista interno, a organização é um sistema sócio-técnico. Os participantes têm sentimentos e gostos individuais e requerem consideração, informação apropriada e estabilidade no trabalho. A ênfase interna no equilíbrio sócio-técnico tende a ser reduzida quando o valor externo na organização como um todo é maximizado e, quando a ênfase na harmonia interna tende a crescer, a organização tende a reduzir sua ênfase à competitividade global. O terceiro conjunto expressa a competição meios versus fins, isto é, os objetivos da organização e os meios necessários para ela se manter e alcançar seus objetivos.

A integração dessas três dimensões torna possível a identificação de quatro modelos básicos (abordagens intermediárias) do desempenho organizacional. O Modelo de Relações Humanas enfatiza flexibilidade, foco interno e características como coesão e moral (meios) e valorização e desenvolvimento de recursos humanos (fins). O Modelo de Sistema Aberto enfatiza flexibilidade, foco externo e características como presteza (meios) e crescimento, aquisição de recursos e suporte externo (fins). O Modelo de Objetivo Racional enfatiza controle, foco externo e características como planejamento e metas fixadas (meios) e produtividade e eficiência (fins). O Modelo de Processo Interno enfatiza controle, foco interno e características como gerenciamento da informação e comunicação (meios) e estabilidade e controle (fins).

A estrutura do Modelo Espacial engloba um conjunto de valores competitivos, onde cada modelo é associado a um modelo polar oposto com ênfases contrastantes. O Modelo de Relações Humanas, com seu critério de desempenho que reflete flexibilidade e foco interno, contrasta fortemente com o Modelo Racional que enfatiza controle e foco externo. O Modelo de Sistema Aberto, que reflete flexibilidade e foco externo, contraria o Modelo de Processo Interno com seu critério de desempenho que reflete controle e foco interno. Os paralelos entre os modelos também são interessantes. Os modelos de Relações Humanas e de Sistema Aberto têm em comum a ênfase na flexibilidade; os modelos de Sistema Aberto e de Objetivo Racional no foco externo; os modelos de Objetivo Racional e de Processo Interno no controle; e, os modelos de Processo Interno e de Relações Humanas no foco interno. Outra característica é o grau de diferenciação dos quatro modelos. De todas as combinações possíveis, os mais similares são os modelos de Processo Interno e de Objetivo Racional, pois, não são tão diferenciados na dimensão interna–externa quanto os modelos de Relações Humanas e de Sistema Aberto. Observe-se ainda que o critério qualidade não se encaixa a um modelo particular do desempenho organizacional e que pode ser um elemento importante de um ou de todos os modelos. O Modelo Espacial também torna clara a relação entre os quatro modelos e os dois paradigmas mais gerais usados na análise organizacional: o Modelo Racional e o Modelo de Sistema Natural.

O Modelo Espacial é um oximoro, isto é, uma combinação de conceitos aparentemente contraditórios. Embora certos pares de conceitos estejam em lugares opostos no espaço de valores, portanto, paradoxais por natureza, não significa que no ambiente organizacional real eles sejam empiricamente opostos e mutuamente exclusivos.

De fato, uma organização pode ser coercitiva e produtiva ou estável e flexível [...]. Proposições derivadas de abordagens de valores competitivos não precisam ser contraditórias; elas necessitam apenas levar em conta as possíveis contradições em todo o ambiente organizacional." (QUINN; ROHRBAUGH, 1983, p. 374, tradução nossa).

A Figura 2.1 apresenta o Modelo Espacial e explicita os valores e orientações que guiam a literatura na análise organizacional. Em nível geral encontram-se os modelos Racional e de Sistema Natural: o primeiro é orientado para valores como integração, formalização e controle; e o segundo para diferenciação, espontaneidade e flexibilidade. No próximo nível aparecem os quatro modelos discutidos anteriormente. Os modelos de Objetivo Racional e de Processo Interno são subconjuntos do Modelo Racional: o primeiro tem foco mais externo e macro; e o segundo mais interno e micro. Os modelos de Sistema Aberto e de Relações Humanas são subconjuntos do Modelo de Sistema Natural: o primeiro tem foco mais externo; e o segundo mais interno. Cada modelo é útil para explicar determinados aspectos do comportamento da organização. Ignorar qualquer um deles é ter uma visão parcial do desempenho. As organizações devem desempenhar-se bem em todos os quatro conjuntos de critérios. Porém, em um dado momento, provavelmente haverá necessidade de optar por um critério e dar maior ênfase a ele. Isso, por sua vez, sugere uma visão conflituosa e dialética da natureza das organizações.

O Modelo Espacial de Análise do Desempenho das Organizações, em síntese, reflete uma estrutura de modelos competitivos de meios, fins, valores gerenciais e preferências estruturais. Ele embasa as conclusões de que não há um modelo universal do desempenho organizacional (CAMERON; WHETTEN, 1983) e de que o desempenho envolve trocas e gerenciamento de paradoxos (CAMERON, 1986). Os meios, fins e valores ilustrados pelo Modelo têm seus antecedentes em princípios, diretrizes e filosofias de pesquisas anteriores. O Modelo Espacial é adotado como referência para a discussão do Paradigma Multidimensional para avaliação do desempenho administrativo das organizações educacionais, apresentado a seguir.

3 O Paradigma Multidimensional de Administração da Educação

Sander (1982, 1995) propõe o Paradigma Multidimensional para estudar a administração da educação na América Latina. A partir de uma visão histórica da teoria administrativa, ele delineia quatro paradigmas educacionais: administração para a eficiência, para a eficácia; para a efetividade e para a relevância. " Esses quatro paradigmas são definidos e delimitados em função dos quatro critérios adotados historicamente para avaliar e orientar o desempenho dos atos e fatos administrativos: a eficiência, a eficácia, a efetividade e a relevância." (1982, p. 10).

O conceito de eficiência está associado ao de racionalidade econômica, pois, busca meios e procedimentos adequados para atingir metas e resultados. " O valor supremo da eficiência é a produtividade [...]. É eficiente aquele que produz o máximo com o mínimo de desperdício, de custo e de esforço, ou seja, aquele que, na sua atuação, apresenta uma elevada relação produto/insumo." (SANDER, 1995, p. 44). Na educação, esse critério relaciona-se à consecução de um desempenho instrumental externo à organização educacional, de natureza econômica, medido em termos de capacidade administrativa para alcançar um elevado grau de produtividade, tendo, portanto, uma dimensão econômica. " A administração será eficiente na medida que ela for capaz de maximizar a captação e utilização de recursos financeiros e instrumentos tecnológicos no sistema educacional e em suas escolas e universidades." (p. 50).

No caso da educação, a eficácia da administração preocupa-se essencialmente com a consecução dos objetivos intrinsecamente educacionais, estando dessa forma estreitamente vinculada aos aspectos pedagógicos das escolas, universidades e sistemas de ensino. (SANDER, 1995, p. 46).

Esse critério relaciona-se à consecução de um desempenho instrumental interno à organização educacional, de natureza pedagógica, medido em termos de capacidade administrativa para alcançar os objetivos e metas educacionais propostos, tendo, por conseguinte, uma dimensão pedagógica. " A administração será tanto mais eficaz quanto maior for o seu sucesso no alcance dos objetivos educacionais." (SANDER, 1982, p. 19).

A noção de efetividade supõe um compromisso real e verdadeiro com os objetivos sociais e as demandas políticas da comunidade.

Quanto maior o grau de participação solidária dos membros da comunidade, direta ou indiretamente comprometidos com a administração da educação, maior será sua efetividade e maior sua capacidade política para responder concreta e imediatamente às necessidades e aspirações sociais. (SANDER, 1995, p. 49).

Na educação, esse critério relaciona-se à consecução de um desempenho substantivo externo à organização educacional, de natureza política, visando atingir os objetivos mais amplos de desenvolvimento humano e qualidade de vida dos participantes do sistema educacional e da sociedade como um todo, tendo, assim, uma dimensão política. " A administração será tanto mais efetiva quanto maior for sua capacidade estratégica para atender às necessidades sociais e às demandas políticas da comunidade em que o sistema educacional está inserido." (p. 63).

Relevância é o critério de desempenho cultural medido em termos de importância, significação, pertinência e valor dos atos e fatos administrativos para a vida dos participantes do sistema educacional. Na educação, esse critério relaciona-se à consecução de um desempenho substantivo interno à organização educacional, tendo, por isso, uma dimensão antropológica. " Uma administração educacional relevante avalia-se em termos dos significados e das conseqüências de sua atuação para a melhoria do desenvolvimento humano e da qualidade de vida na escola e na sociedade." (SANDER, 1995, p. 50).

O Paradigma Multidimensional é constituído por quatro dimensões analíticas articuladas: econômica, pedagógica, política e cultural. A cada uma corresponde seu respectivo critério de desempenho administrativo: eficiência, eficácia, efetividade e relevância. Tais dimensões devem estar presentes quando se tratar da competência dos administradores educacionais. Na concepção do Paradigma, a educação e a administração são concebidas como realidades globais que podem ser constituídas por múltiplas dimensões analíticas dialeticamente articuladas. Os fenômenos e os fatos administrativos são realidades globais formadas de dimensões multicêntricas com ênfases ora opostas ora complementares. No sistema educacional há preocupações substantivas ou ideológicas, de natureza cultural e política, e preocupações instrumentais ou técnicas, de caráter pedagógico e econômico. Há também preocupações internas, de natureza antropológica e pedagógica, e externas relacionadas com a economia e a sociedade mais ampla. O ser humano individual e social, historicamente responsável pela construção da sociedade e de suas organizações, constitui a razão da existência do sistema educacional. Essa concepção está resumida, na Figura 3.1, em um esquema multicêntrico no qual as dimensões substantivas e as instrumentais se articulam com as dimensões intrínsecas e as extrínsecas.

O Paradigma Multidimensional, em síntese, parte de uma definição filosófica e compreensiva da administração da educação, onde as dimensões instrumentais (econômica e pedagógica) são reguladas pelas substantivas (política e cultural); há predominância das dimensões intrínsecas (pedagógica e cultural) sobre as extrínsecas (econômica e política); e, a eficiência é subsumida pela eficácia, a eficiência e a eficácia pela efetividade e a eficiência, a eficácia e a efetividade pela relevância. Ele está orientado por conteúdos substantivos e éticos, como a liberdade e a eqüidade, capazes de promover a contínua realização do ser humano que participa da transformação do sistema educacional com responsabilidade social. Requer uma visão interdisciplinar que permita explicar a realidade em termos globais.

4 O Modelo de Avaliação do Desempenho da Administração da Escola

A estrutura de valores competitivos do Modelo Espacial associa-se aos critérios de desempenho administrativo apontados pelo Paradigma Multidimensional, conforme a Figura 4.1. As características do Modelo de Objetivo Racional em organizações educacionais, que se preocupa com a competitividade (dimensão extrínseca) e busca a produtividade e a eficiência das atividades escolares através do planejamento (dimensão instrumental), associam-se à dimensão econômica do Paradigma Multidimensional e, portanto, esse Modelo enfatiza a eficiência. As características do Modelo de Processo Interno em organizações educacionais, que se preocupa com a harmonia interna da escola (dimensão intrínseca) e busca o alcance das metas escolares através da estabilidade, do equilíbrio e do controle das atividades escolares (dimensão instrumental), associam-se à dimensão pedagógica e, portanto, esse Modelo enfatiza a eficácia. As características do Modelo de Sistema Aberto em organizações educacionais, que se preocupa com a competitividade (dimensão extrínseca) e busca atingir os objetivos sociais da escola através da aquisição de recursos e do suporte externo (dimensão substantiva), associam-se à dimensão política do Paradigma Multidimensional e, portanto, esse Modelo enfatiza a efetividade. As características do Modelo de Relações Humanas em organizações educacionais, que se preocupa com a harmonia interna da escola (dimensão interna) e busca a satisfação dos participantes pela valorização dos recursos humanos (dimensão substantiva), associam-se à dimensão cultural e, portanto, esse Modelo enfatiza a relevância.

Teoricamente, na estrutura de valores competitivos, apesar de os pontos finais das dimensões dos modelos serem opostos, eles não são necessariamente opostos empiricamente. A eficiência é mais bem representada pelo Modelo de Objetivo Racional e a eficácia pelo Modelo de Processo Interno; mas podem possuir algumas características desses dois modelos e/ou dos dois modelos subjacentes: Modelo de Sistema Aberto e Modelo de Relações Humanas. A efetividade é mais bem representada pelo Modelo de Sistema Aberto e a relevância pelo Modelo de Relações Humanas; mas podem ter características tanto desses dois modelos quanto dos dois outros: Modelo de Objetivo Racional e Modelo de Processo Interno. A utilização de um determinado modelo permite delinear diferentes configurações dos atributos organizacionais que podem caracterizar empiricamente o desempenho administrativo em termos dos critérios de eficiência, eficácia, efetividade e relevância. A Figura 4.2 ilustra a estrutura geral do MADAE e destaca sob quais critérios a administração das organizações educacionais é avaliada.

O MADAE computa escores de desempenho conceitualmente claros e operacionalmente aplicáveis na identificação das organizações educacionais cuja administração é, simultaneamente, eficiente, eficaz, efetiva e relevante. Tais organizações caracterizam a fronteira de desempenho administrativo. Resultados adicionais da computação do escore de desempenho de cada organização em relação a essa fronteira determinam ações administrativas para melhorar a qualidade dos resultados educacionais e minimizar o uso dos recursos, tempo e tecnologia, de forma a atender os anseios sociais e a satisfazer as expectativas dos participantes do sistema educacional. Nesta pesquisa, os escores de desempenho administrativo e os indicadores de eficiência, eficácia, efetividade e relevância são computados através de dados já coletados, disponíveis no Sistema Nacional de Avaliação da Educação Básica 2001 e no Censo Escolar brasileiro 2002. Essas informações são consistentes e possibilitaram a construção do Banco de Dados desta pesquisa para a aplicação empírica do MADAE. Esse Banco contempla 49 escolas da rede catarinense (28 públicas, G1 a G28, e 21 privadas, P1 a P21). As variáveis do Sistema (INEP, 2001) são as médias das notas dos alunos nos exames de português e de matemática. As variáveis do Censo (INEP, 2002) são o número de professores e o número de alunos matriculados, aprovados, não-aprovados, concluintes, evadidos e transferidos.

O uso de programação linear na construção empírica do MADAE permite aplicá-lo a situações reais de avaliar o desempenho administrativo de cada organização educacional. Para tal, dois modelos empíricos complementares são utilizados na computação dos indicadores de eficiência, eficácia, efetividade e relevância de cada organização e, a partir deles, no cálculo do escore de desempenho de cada uma delas e na construção da fronteira de desempenho administrativo de todas as organizações. O Modelo 1, ilustrado na Figura 4.3, mostra que os indicadores de eficiência, eficácia, efetividade e relevância são determinados por medidas específicas que associam os recursos aos resultados observados. Os indicadores são descritos e construídos na Subseção 5.1. O Modelo 2, ilustrado na Figura 4.4, mostra o escore de desempenho da administração de cada organização educacional como função dos indicadores de eficiência, eficácia, efetividade e relevância. Tal função corresponde à fronteira de desempenho administrativo, descrita na Subseção 5.4, construída com o emprego de programação linear, que permite trabalhar simultaneamente com vários indicadores de desempenho e considerar a hierarquia de importância relativa entre os critérios e entre seus indicadores.

O MADAE, apesar de não captar toda a complexidade de uma organização educacional, reflete uma aproximação realista à análise dos resultados do processo de alocação de recursos educacionais. As organizações educacionais são visualizadas do ponto de vista produtivo como sistemas que: (i) utilizam recursos, entendidos como o conjunto de disponibilidades materiais, humanas, financeiras e energéticas consumidas ou transformadas nos processos de ensino-aprendizagem (infraestrutura física, docentes e técnico-administrativos), incluindo os alunos cujo conhecimento é " transformado" através do aprendizado; (ii) geram resultados intermediários e finais, observáveis em curto, médio e longo prazos de tempo. (LAPA; NEIVA, 1996).

5 A aplicação do Modelo de Avaliação do Desempenho da Administração da Escola

A primeira seção descreve a construção dos indicadores e das medidas de eficiência, eficácia, efetividade e relevância das escolas da rede catarinense como um todo, e das escolas das redes pública e privada separadamente. Tal construção atende aos propósitos da ilustração uma vez que os indicadores são corretamente associados aos critérios do MADAE e podem representá-los adequadamente por serem relativamente independentes. A segunda seção estuda os escores de desempenho administrativo gerados pela aplicação do Modelo às 49 escolas da rede catarinense, sendo (i) identificadas as escolas de desempenho administrativo ótimo e estimados os potenciais de melhoria das outras escolas; (ii) determinadas, para cada escola EEº, as metas de desempenho administrativo ótimo (EFICIEº*, EFICAPº*, EFICAMº*, EFETIVº*, RELEVº*) que possibilitam à escola EEº passar a operar com desempenho igual ao melhor desempenho observado na rede catarinense; e (iii) identificadas as escolas de desempenho administrativo ótimo que definem a fronteira de desempenho e que devem ser tomadas como referência por cada escola EEº da rede catarinense; (iv) concretizada a fronteira empírica de desempenho administrativo ótimo através de facetas definidas pelas valorações ótimas observadas (eficie*, eficap*, eficam*, efetiv*, relev*) e pelas escolas de desempenho ótimo.

5.1 Os Indicadores de eficiência, eficácia, efetividade e relevância

A construção dos indicadores e das medidas de eficiência, eficácia, efetividade e relevância do MADAE empregou o Banco de Dados da pesquisa. Como é uma ilustração não foram realizados testes rigorosos de confiabilidade estatística e de sensibilidade aos valores discrepantes. O Quadro 5.1 apresenta as medidas dos cinco indicadores construídos, para as escolas das redes pública e privada, calculados de acordo com a seguinte definição:

EFICIE – indicador de eficiência, calculado pela razão entre o número de alunos concluintes e o número de professores da escola. Ele indica a habilidade da administração da escola de transformar em resultados os recursos disponíveis.

EFICAP – indicador de eficácia em português, calculado pela razão entre a nota média da escola em português e a maior nota média em português observada. Ele indica a habilidade da escola em ensinar aos alunos os conteúdos programáticos requeridos nessa disciplina.

EFICAM – indicador de eficácia em matemática, calculado pela razão entre a nota média da escola em matemática e a maior nota média em matemática observada. Ele indica a habilidade da escola em ensinar aos alunos os conteúdos programáticos requeridos nessa disciplina.

EFETIV – indicador de efetividade, calculado pela razão entre o tempo mínimo previsto para o aluno freqüentar a escola e concluir o curso e o tempo médio que o aluno freqüenta a escola até concluir o curso. Ele indica a capacidade da administração da escola em atender aos anseios dos pais e dos professores de verem os alunos avançando em sua formação da forma programada.

RELEV – indicador de relevância, calculado pela razão entre o número de alunos concluintes e o número de alunos matriculados na escola. Ele representa a satisfação dos alunos, dos professores, dos pais e da sociedade pela escola ter atendido às suas expectativas de formar todos os ingressantes.

As estatísticas básicas do Quadro 5.1 indicam que as medidas desses cinco indicadores são assimétricas, na redes pública e privada. Isso recomenda submetê-los a uma análise estatística exploratória mais detalhada. Essa análise revelou que as medidas dos indicadores EFICIE, EFICAP, EFICAM, EFETIV e RELEV são relativamente independentes, não possuem fortes relacionamentos, apresentam correlações fracas e distribuições assimétricas. Portanto, esses cinco indicadores podem ser empregados para representar os critério de eficiência, eficácia, efetividade e relevância, visto não serem fortemente correlacionados e existirem indícios de serem conflitantes. Ademais, é possível inferir que os administradores das escolas das redes pública e privada, consideradas isolada ou conjuntamente, dão prioridade à eficácia e à efetividade. Contudo, os administradores das escolas privadas tendem a ser mais produtivos, eficazes e relevantes e os das escolas públicas mais efetivos. Entre as escolas de melhor desempenho administrativo, seis são privadas e quatro são públicas. Há uma escola privada e três escolas públicas discrepantes em relação às demais. Tais escolas poderiam ser estudadas separadamente, mas, optou-se por mantê-las no estudo porque elas são reais e foram observadas.

5.2 Os escores de desempenho administrativo ótimo

O Quadro 5.2 apresenta a formulação matemática do MADAE quando aplicado para avaliar o desempenho administrativo da escola EEº na rede catarinense. Essa formulação, devidamente modificada, transforma-se na formulação matemática do Modelo para avaliação do desempenho administrativo das escolas públicas na rede pública (com a exclusão das 21 restrições Pi, i = 1, 2 ... 21) ou, alternativamente, para avaliação do desempenho administrativo das escolas privadas na rede privada (com a exclusão das 28 restrições Gj, j = 1, 2 ... 28).

O Modelo apresentado no Quadro 5.2 é um problema de programação linear que calcula o escore IDEEº*, que expressa o maior valor que pode ser atribuído ao desempenho relativo³ da administração da escola EEº, cujos indicadores de eficiência, eficácia em português, eficácia em matemática, efetividade e relevância são EFICIEº, EFICAPº, EFICAMº, EFETIVº e RELEVº, respectivamente. O elenco de variáveis de decisão (eficie, eficap, eficam, efetiv, relev) é a valoração que os administradores da escola EEº podem atribuir aos critérios correspondentes. As restrições 50 a 55 expressam o ordenamento da valoração dos critérios do Paradigma Multidimensional: a eficiência é subsumida pela eficácia, que são subsumidas pela efetividade, que são subsumidas pela relevância. A restrição Gj expressa o desempenho administrativo da escola pública Gj, j = 1, 2 ... 28, e a restrição Pi o desempenho da escola privada Pi, i = 1, 2 ... 21, comparativamente ao melhor desempenho observado nas 49 escolas que formam a rede catarinense, quando avaliadas sob a ótica dos administradores da escola EEº, isto é, quando tais desempenhos são medidos com a valoração (eficie, eficap, eficam, efetiv, relev) que os administradores da escola EEº atribuem aos critérios de eficiência, eficácia em português, eficácia em matemática, efetividade e relevância.

A solução do problema de programação linear do Quadro 5.2 gera os seguintes resultados:

1 Em relação às demais escolas da rede catarinense.IDEEº* - Valor máximo que pode ser dado ao desempenho relativo da administração da escola EEº, comparativamente às demais escolas da rede catarinense, quando a escola EEº é avaliada sob a ótica dos seus administradores. Assim, quando IDEEº* = 1, a escola EEº tem o melhor desempenho administrativo observado na rede catarinense sob o prisma dos administradores de EEº. Porém, quando IDEEº* < 1, sempre há pelo menos uma escola na rede catarinense com desempenho administrativo (1 / IDEEº*) maior que o desempenho observado da escola EEº, qualquer que seja a valoração (eficie, eficap, eficam, efetiv, relev) assumida pelos administradores de EEº. O conjunto de escolas de desempenho administrativo ótimo (IDEEº* = 1) determina uma fronteira empírica de desempenho em relação à qual são mensurados os desempenhos das administrações das demais escolas (IDEEº* < 1). As características das escolas de desempenho administrativo ótimo determinam as características dessa fronteira e refletem-se na determinação das metas ótimas para as outras escolas.

eficie*, eficap*, eficam*, efetiv*, relev* - Valoração ótima dos critérios de eficiência, eficácia em português, eficácia em matemática, efetividade e relevância, que determina o valor máximo IDEEº* do desempenho administrativo relativo da escola EEº na rede catarinense. Assim, não há uma valoração (eficie, eficap, eficam, efetiv, relev) que dê uma melhor avaliação para o desempenho relativo da escola EEº comparativamente às demais escolas estudadas.

, t = 1, 2 ... 49 (28 + 21) - Soluções duais, que correspondem aos coeficientes de agregação dos planos de operação observados (EFICIE^t, EFICAP^t, EFICAM^t, EFETIV^t, RELEV^t) das 49 escolas que formam a rede estudada e que determinam as metas ótimas da escola EEº: EFICIE^0* = å x EFICIE^t ; EFICAP^0* = å x EFICAP^t ; EFICAM^0* = å x EFICAM^t ; EFETIV^0* = å x EFETIV^t ; RELEV^0* = å x RELEV^t .

Os resultados desses problemas de programação linear possibilitam a identificação das escolas de desempenho administrativo ótimo, a estimação dos potenciais de melhoria do desempenho das outras escolas e a determinação de metas de desempenho administrativo ótimo, em termos dos indicadores de eficiência, eficácia em português e matemática, efetividade e relevância, que concretizam tais melhorias.

O Quadro 5.3 apresenta os escores de desempenho administrativo de cada escola pública (nas redes pública e catarinense) e de cada escola privada (nas redes privada e catarinense) e o Quadro 5.4 mostra as estatísticas básicas desses escores.

A análise dos Quadros 5.3 e 5.4 mostra que há uma escola com desempenho administrativo ótimo na rede pública (G18) e duas nas redes privada e catarinense (P6 e P15). Na rede pública, as escolas G7 e G18, que têm o pior e o melhor desempenho observado, são discrepantes em relação às demais escolas públicas, portanto, deveriam ser objeto de análise estatística exploratória mais aprofundada, especialmente a escola G18, que pode vir a ser tomada como referência nessa rede. Na rede privada, a escola P4, que tem o pior desempenho observado, é discrepante em relação às demais escolas privadas e também deveria ser objeto de análise estatística exploratória mais aprofundada. Da mesma forma, as escolas P6 e P15, que têm o melhor desempenho observado, visto elas poderem vir a ser tomadas como referência nas redes privada e catarinense. A escola G1, por exemplo⁴, comparativamente às demais escolas públicas, poderia aumentar o desempenho administrativo em 28,8%, visto o seu desempenho relativamente à escola G18 ser 0,7765380⁵ e, comparativamente a todas as escolas estudadas, ela poderia aumentar em 48,3%, visto o seu desempenho relativamente às escolas P6 e P15 ser 0,6742467⁶. A escola pública G18, apesar de ser a de melhor desempenho administrativo na rede pública, poderia aumentar seu desempenho em 3,1%, visto o seu desempenho relativo ser 0,9696425⁷, quando analisada no contexto da rede catarinense.

O Quadro 5.5 mostra as melhorias nos escores de desempenho administrativo que as escolas públicas poderiam ter quando analisadas nas redes pública e catarinense, e, as melhorias que as escolas privadas poderiam ter quando analisadas nas redes privada e catarinense. O Quadro 5.6 mostra as estatísticas básicas das melhorias.

5.3 As metas de desempenho administrativo ótimo

O cálculo da meta de desempenho administrativo ótimo da escola EEº requer o conhecimento dos coeficientes de agregação e dos planos de operação observados (EFICIE^t, EFICAP^t, EFICAM^t, EFETIV^t, RELEV^t) das escolas EE^t que formam a rede das escolas estudadas. O Quadro 5.7 transcreve os coeficientes ¹ 0 para cada escola pública, quando avaliadas relativamente às redes pública e catarinense e para cada escola privada quando avaliadas relativamente às redes privada e catarinense.

O Quadro 5.8 identifica as escolas de desempenho administrativo ótimo G18, P6 e P15 que são referências para cada escola da rede catarinense. Por exemplo, para a escola pública G1, a escola G18 é sua referência quando considerada a rede pública, mas suas referências passam a ser as escolas P6 e P15 quando considerada a rede catarinense. Observe-se que, quando considerada a rede catarinense, somente a escola P15 é referência para a escola G2 e somente a escola P6 é referência para a escola G6. Note-se também que, na rede privada, a escola P1 tem somente a escola P6 como referência, enquanto que a escola P2 tem as escolas P6 e P15 como referência e a escola P4 tem somente a escola P15. Ademais, esse quadro indica que a fronteira empírica de desempenho administrativo ótimo da rede pública é definida apenas pela escola pública G18, enquanto que das redes privada e catarinense são definidas pelas escolas P6 e P15.

O Quadro 5.9 transcreve as metas de desempenho administrativo ótimo (EFICIE*, EFICAP* EFICAM*, EFETIV*, RELEV*) da escola pública G1, quando avaliada relativamente às redes pública e catarinense.

Observe-se que, como na rede pública há uma única escola com desempenho administrativo ótimo (G18), a meta de desempenho administrativo da escola G1 é calculada pela computação:

Por outro lado, como na rede catarinense há duas escolas com desempenho administrativo ótimo (P6 e P15), a meta de desempenho administrativo da escola G1 é calculado pela computação:

O Quadro 5.10 apresenta as metas de desempenho administrativo ótimo das 28 escolas públicas quando avaliadas na rede pública e das 21 escolas privadas quando avaliadas na rede privada; o Quadro 5.11 as metas de desempenho administrativo ótimo das 49 escolas da rede catarinense; e o Quadro 5.12 as estatísticas básicas dessas metas e dos planos de operação observados das 28 escolas públicas, das 21 escolas privadas e das 49 escolas catarinenses.

Os Quadros 5.10 a 5.12 mostram que, de um modo geral, os administradores das escolas catarinenses, públicas e privadas, deveriam mudar suas prioridades, orientando suas decisões para a eficiência e a relevância, mesmo que seja necessário reduzir a eficácia e a efetividade da rede catarinense. Observe-se que esse resultado não surpreende, visto o ordenamento da valoração atribuída aos critérios de eficiência, eficácia, efetividade e relevância no Paradigma Multidimensional adotado na construção do MADAE.

5.4 As fronteiras empíricas de desempenho administrativo ótimo

Essas fronteiras são determinadas por facetas lineares, definidas pelas escolas de desempenho administrativo ótimo e caracterizadas pelas valorações ótimas identificadas. As facetas de desempenho administrativo ótimo permitem estudar o significado dos escores de desempenho obtidos e a viabilidade das metas projetadas para cada escola. Os escores relativos de desempenho computados correspondem à distância entre o desempenho realizado e a fronteira de desempenho. Tal fronteira é composta das facetas de desempenho, determinadas pelas combinações convexas de subconjuntos de escolas de desempenho administrativo ótimo. A cada escola corresponde uma faceta de desempenho administrativo em relação à qual seu escore de desempenho é calculado e na qual sua meta é projetada.

As facetas caracterizam-se por um conjunto de vértices e de taxas de substituição (valoração ótima) entre os indicadores EFICIE, EFICAP, EFICAM, EFETIV e RELEV. Os vértices de cada faceta são escolas de desempenho administrativo ótimo, ou seja, a faceta da escola EE^t é definida por suas escolas de referência. A meta projetada para essa escola é a combinação convexa dos planos de operação de suas escolas de referência formada com os pesos de agregação . As referências caracterizam-se como os planos de operação mais similares à escola avaliada e constituem informação relevante para a administração escolar na identificação de políticas e procedimentos que visem melhorar o desempenho.

A valoração ótima associada a escola EE^t está expressa nos coeficientes eficie*, eficap*, eficam*, efetiv* e relev*. A valoração define o escore de desempenho e a faceta da fronteira de desempenho administrativo ótimo associada a escola EE^t. Para cada escola EE^t avaliada, ela descreve as taxas de substituição ótimas entre os indicadores de desempenho, dadas as características dos administradores de EE^t reveladas pelo plano de operação (EFICIE^t, EFICAP^t, EFICAM^t, EFETIV^t, RELEV^t).

É possível a construção das fronteiras para as redes pública, privada e catarinense. É apresentada a construção da fronteira da rede privada, que é definida pelas escolas de desempenho administrativo ótimo P6 e P15, caracterizadas pelos seguintes indicadores:

Os indicadores acima sugerem que essas escolas são as de melhores desempenho administrativo na rede privada, visto eles serem os maiores ou estarem entre os melhores nos cinco critérios. O Quadro 5.13 transcreve a valoração ótima das escolas da rede privada e indica que quatro facetas formam a fronteira empírica de desempenho administrativo dessa rede, como mostrado no Quadro 5.14.

O Quadro 5.13 indica que a administração das escolas P1 e P18 dá maior ênfase à eficiência; das escolas P11 e P21 à efetividade; e, das demais escolas, à eficácia em português. Esta fronteira indica que há quatro condições de desempenho administrativo ótimo alternativas. Planos de operação que não satisfaçam a pelo menos uma dessas condições não podem ter desempenho administrativo ótimo na rede privada:

0,222 EFICIE + 0,222 EFICAP + 0,222 EFICAM + 0,222 EFETIV + 0,222 RELEV = 1

0,025 EFICIE + 0,258 EFICAP + 0,258 EFICAM + 0,258 EFETIV + 0,258 RELEV = 1

0,138 EFICIE + 0,138 EFICAP + 0,138 EFICAM + 0,344 EFETIV + 0,344 RELEV = 1

0,000 EFICIE + 0,261 EFICAP + 0,261 EFICAM + 0,261 EFETIV + 0,261 RELEV = 1

O MADAE, em decorrência do Paradigma Multidimensional, tem como hipótese que a eficiência é subsumida pela eficácia, que são subsumidas pela efetividade, que são subsumidas pela relevância. As restrições 50 a 55 da formulação matemática do MADAE do Quadro 5.2 representam essa hipótese. Alterações dessas restrições flexibilizam a construção da fronteira de desempenho administrativo ótimo.

Ressalta-se que esta pesquisa não discute a transformação das metas de desempenho administrativo ótimo projetadas (EFICIE*, EFICAP*, EFICAM*, EFETIV*, RELEV*) em metas operacionais de melhoria do desempenho da administração das organizações educacionais, visto isso implicar uma miríade de possibilidades de soluções (alternativas de alterações nas quantidades de recursos e nos volumes de resultados) sob a ótica da valoração específica que os administradores de cada organização dão à eficiência, à eficácia, à efetividade e à relevância.

As metas operacionais de eficiência implicam em ações administrativas direcionadas aos resultados e aos recursos materiais, humanos e pedagógicos disponíveis. No caso das variáveis desta pesquisa, se a escola utiliza mais recursos (professores) que o necessário para formar os alunos (resultados), há indícios de que as metas operacionais devem conduzir à diminuição das quantidades de recursos empregadas, podendo, inclusive, levar à redução de professores.

As metas operacionais de eficácia implicam em ações administrativas direcionadas aos objetivos pedagógicos de cada organização educacional. O estabelecimento das metas de eficácia pressupõe o conhecimento desses objetivos que, no caso das variáveis desta pesquisa, são representados pela maximização das notas dos alunos nos exames de português e de matemática. Tais metas podem requerer redefinição do planejamento, revisão das metodologias de ensino-aprendizagem (programas, conteúdos, currículos), capacitação e qualificação de professores, e mudança do projeto político-pedagógico. Essas ações são complementares e competitivas com as ações orientadas pelas metas de eficiência.

As metas operacionais de efetividade implicam em ações administrativas ligadas aos desejos sociais. Para tanto, é necessário aproximar a comunidade das questões escolares, incentivando à participação dos pais e alunos nos conselhos escolares e nas eleições dos diretores, a exemplo. No caso das variáveis desta pesquisa, esses desejos são representados pelo anseio da comunidade de que todos os alunos concluam seus estudos da forma prevista e programada, isto é, de que o tempo de permanência dos alunos na escola seja o menor possível. As ações podem ser, por exemplo, eliminar as causas da repetência e da evasão, atuando nas condições de alimentação e saúde dos alunos e de acompanhamento e participação dos pais. As ações para a efetividade são complementares e competitivas com as ações direcionadas à eficiência e à eficácia.

As metas operacionais de relevância implicam soluções para a promoção qualitativa da vida humana que possibilite o pleno desenvolvimento dos participantes internos da organização educacional. Tais metas podem requerer ações como mudanças na estrutura organizacional e decisória, nos planos de cargos e salários dos professores e funcionários, e no ambiente de trabalho da organização educacional. As ações para relevância são complementares e competitivas com as ações voltadas para a eficiência, eficácia e efetividade.

O estudo dessas alternativas de ação não estava nos objetivos desta pesquisa.

6 Considerações Finais

A análise estatística exploratória das medidas dos indicadores de eficiência, eficácia, efetividade e relevância, construídas para as escolas estudadas, indicou que elas são relativamente independentes e que apresentam correlações fracas e distribuições assimétricas. Portanto, os indicadores escolhidos representam aspectos diferentes do desempenho da administração das escolas e, por essa razão, eles podem ser utilizados para representar as diferentes dimensões e critérios exigidos pelo MADAE.

Essa análise permite também inferências sobre as características comportamentais dos administradores das escolas. Por exemplo, a administração das escolas das redes pública e privada priorizam a eficácia e a efetividade. Porém, nas escolas privadas, a administração tende a priorizar a eficiência, a eficácia e a relevância em detrimento da efetividade, enquanto que, nas escolas públicas, ela tende a priorizar a efetividade. Isso indica que administração das escolas privadas prefere otimizar o emprego dos recursos para atingir os resultados esperados (eficiência), dando maior ênfase à preparação dos alunos para a continuidade nos estudos (eficácia), visto os alunos dessas escolas terem obtido notas melhores em português e matemática, cujo domínio é fundamental para o desenvolvimento das competências e habilidades necessárias para deixar os formados preparados para os processos seletivos de acesso ao ensino superior. A administração das escolas privadas também está mais preocupada que as públicas em atender as necessidades de seus participantes internos (relevância), pois, a satisfação deles no trabalho influi positivamente na produtividade escolar.

A seleção dos indicadores de eficiência, eficácia, efetividade e relevância, e, a análise exploratória das medidas correspondentes, é também requisito para a definição e aplicação do MADAE. Essas medidas e indicadores construídos pelo Modelo permitem identificar as escolas de desempenho administrativo ótimo (referências) e quantificar a melhoria máxima que as demais podem alcançar. Tal identificação permite estudar possibilidades reais de melhoria do desempenho administrativo das escolas (que trabalham sob as mesmas condições ambientais e restrições operacionais) e projetar metas de desempenho (que conduzem cada escola a operar com desempenho igual ao maior desempenho administrativo observado de escolas similares).

As metas projetadas para as escolas da rede catarinense também mostram que, em geral, os administradores das escolas das redes pública e privada, para melhorarem o seu desempenho, deveriam direcionar suas prioridades e decisões à eficiência e à relevância. Isso implica em uma maior preocupação com o uso otimizado dos recursos e em uma maior atenção às expectativas dos indivíduos internos. Esses aspectos também mostram que o MADAE pode ser usado para avaliar o desempenho da administração da escola como organização considerando, simultaneamente, os critérios de eficiência, eficácia, efetividade e relevância, sendo, por conseguinte, uma resposta ao problema de pesquisa.

A principal limitação do MADAE é ele ser quantitativo e válido apenas para avaliar o desempenho da administração da escola como organização, pois, o Modelo somente estuda aspectos quantitativos necessários para avaliar a administração da escola, mas, que não são suficientes para avaliar a escola enquanto instituição educacional. Por isso, cuidados devem ser tomados em relação à má utilização do Modelo para avaliar as instituições educacionais como um todo. Recomendam-se estudos que capturem aspectos qualitativos e outras dimensões da avaliação da educação. O MADAE aplica-se a dados já coletados, portanto, a avaliação é ex-post-facto. Recomendam-se estudos que incluam avaliações formativas (processo).

A limitação teórica principal está relacionada ao Paradigma Multidimensional, que mede o desempenho administrativo pelos critérios de eficiência, eficácia, efetividade e relevância, estabelecendo uma hierarquia entre eles. Outros paradigmas podem ser usados para construir modelos de avaliação do desempenho administrativo, desde que seja possível definir indicadores para os seus critérios. A limitação da hierarquia entre os critérios não é severa pois pode ser tratada no contexto da flexibilização da valoração dual do MADAE, desde que ela possa ser representada matematicamente pela valoração relativa dos critérios.

Modelos que usam programação linear são limitados por sua capacidade para identificar e formular problemas. Nenhum modelo é capaz de capturar toda a complexidade de uma organização. Eles são representações simplificadas da realidade e servem para diagnosticar as organizações. Dadas as limitações tradicionais dessa técnica, recomenda-se que estudos futuros construam modelos de programação não-linear. O MADAE é determinístico, portanto, pressupõe que todas as informações para solucionar o problema são conhecidas e não considera aspectos aleatórios que afetam o desempenho administrativo. Isso impede inferências probabilísticas sobre o desempenho futuro da organização educacional. São recomendados estudos que incluam variáveis estocásticas ao Modelo. Os escores de desempenho administrativo gerados pelo MADAE são relativos às melhores organizações educacionais estudadas. A inclusão de outras organizações pode alterar os resultados da avaliação. Ressalta-se que comparações dos escores de desempenho administrativo de estudos diferentes devem ser cuidadosas, pois, eles refletem o desempenho relativo às observações consideradas em cada estudo, assim, podem não dizer nada sobre o desempenho resultante de um estudo em relação ao desempenho resultante do outro.

Uma limitação dos dados é que eles fornecem informações relativas às aprendizagens, competências e habilidades definidas e esperadas dos alunos apenas em língua portuguesa e matemática, não inclui informações de caráter mais humanístico. São recomendados estudos que utilizem dados mais completos para gerar os indicadores de desempenho e análise discriminante para a incluir fatores subjetivos.

Ressalta-se que a estrutura geral do MADAE possibilita a inclusão de vários e diferentes indicadores de desempenho. Estudos dessa natureza podem auxiliar os administradores (educadores, diretores, secretários de educação) a implementar ações para a melhoria da rede escolar. Com as devidas adaptações, o Modelo pode ser utilizado na avaliação de outros objetos.

Recebido em: 25/05/07

Avaliado em: 20/09/07

• CAMERON, K. S. Effectiveness as paradox: consensus and conflict in conception of organizational effectiveness. Management Science, Providener, RI, US, v. 32, n. 5, p. 539-53, maio 1986.
• CAMERON, K. S.; WHETTEN, David A. (Eds.). Organizational effectiveness: a comparison of multiple models. New York: Academic Press, 1983.
• COOPER, W. W.; SEIFORD, L. M.; TONE, K. Data envelopment analysis Boston: Kluwer Academic Publishers, 2000.
• FRIED, H. O.; LOVELL, C. A. K.; SCHMIDT, S. S. (Eds.). The measurement of productive efficiency: technique and applications. New York: Oxford University Press, 1993.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS-INEP. Censo Escolar 2002. Microdados do censo escolar 2002: estabelecimentos de ensino da educação básica – cadastro, valores absolutos e indicadores. Brasília, 2002. 1 CD-ROM.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS-INEO. Sistema Nacional de Avaliação da Educação Básica. Micro-dados SAEB 1995/1997/1999/2001. Brasília, 2001. 1 CD-ROM.
• LAPA, J. S.; NEIVA, C. C. Avaliação em educação: comentários sobre desempenho e qualidade. Ensaio, Rio de Janeiro, v. 4, n. 12, p. 213-36, jul./set. 1996.
• QUINN, R. E.; ROHRBAUGH, J. A spatial model of effectiveness criteria: towards a competing values approach to organizational analysis. Management Science, Providener, RI, US, v. 29, n. 3, p. 363-77, mar. 1983.
• SANDER, B. Administração da educação no Brasil: é hora da relevância. Educação Brasileira, Brasília, v. 4, n. 9, p. 8-27, 2ş sem. 1982.
• SANDER, B. Gestão da educação na América Latina: construção e reconstrução do conhecimento. Campinas: Autores Associados, 1995.
• THIE, P. R. An introduction to linear programming and game theory New York: Wiley, 1979.
• WAGNER, H. M. Pesquisa operacional São Paulo: Prentice Hall do Brasil, 1988.

1

Thie (1979) e Wagner (1988) são excelentes referências.

2

Fried; Lovell; Schmidt (1993) e Cooper; Seiford; Tone (2000) são textos de referência completos.

3

Em relação às demais escolas da rede catarinense.

4

Cálculos semelhantes podem ser realizados para todas as escolas da rede pública.

5

1/0,7765380 = 1,2877669

6

1/0,6742467 = 1,4831366

7

1/0,9696425 = 1,0313079

Datas de Publicação

• Publicação nesta coleção
  20 Fev 2008
• Data do Fascículo
  Dez 2007

Histórico

• Aceito
  20 Set 2007
• Recebido
  25 Maio 2007