Resumo:
A avaliação de intervenções na {1rea de saúde pública brasileira é uma prática que vem se consolidando nesses últimos anos. Diferentes modelos de avaliação têm sido utilizados para este fim.
O presente estudo destina-se a verificar o grau de atingimento de parâmetros ou referenciais de treinamento cm Epidemiologia estabelecidos pelo Centro Nacional de Epidemiologia do Ministério da Saúde (CENEPI) por dez instituições de ensino superior conveniadas por aquele Centro. Para esse propósito, foi escolhido o modelo de Stake, o qual focaliza-se em congruências e discrepâncias verificadas na prática das dez instituições conveniadas, bem assim na prática dos serviços de saúde envolvidos, em relação aos parâmetros acima referidos.
Os referenciais de treinamento em Epidemiologia são oito: (a) planejamento conjunto do treinamento, (b)diagnóstico de recursos humanos em Epidemiologia, (c) avaliação continuada dos convênios, (d)sclcção dos candidatos, (e) liberação dos candidatos/modularização dos cursos, (f) instalação de núcleos de Epidemiologia, (g)assessoramento de equipes após treinamento e (h)disseminação de bibliografia de treinamento.
Questionários respondidos pelo CENEPT, instituições de ensino superior e senriços de saúde mostraram que predomina a congruência entre os três grupos de órgãos com relação aos oito parâmetros ou referenciais do CENEPJ. Entretanto, ressaltam proporções elevadas de discrepâncias, bem assim de concordâncias quanto ao não atingimento dos referenciais tanto pelas instituições de ensino superior como por serviços de saúde.
Palavras-chave:
Avaliação de inten1enções em saúde pública; Avaliação de treinamento em Epidemiologia; Treinamento cm Epidemiologia; Parâmetros para treinamentos em Epidemiologia
Abstract:
Public health authorities have made an increasingly regular practice to submit interventions in their services to evaluation. Numerous evaluation models have been employed to this end. The present study seeks to verify the extent to which training parameters or referents in Epidemiology established by the Epidemiology National Center (CENEPI) of the Brazilian Ministry of Health were attained by ten university level institutions contracted by the referred Center and also the local public health services. Consonant with this purpose. Stake's evaluation model was chosen. This model focuses on congruencies and discrepancies occurring in the training practices of the ten institutions regarding CENEPI’s training parameters.
The parameters set up by CENEPI for training in Epidemiology are eight, namely: (a) joint planning of training, (b) diagnostic of available personnel in epidemiology, (c) continned evaluation of the contracts, (d) screening of candidates € candidate discharge from service/training flexibilization, (f) establishment of state epidemiology centers, (g) support to local epidemiology groups after training, and (h) dissemination of training bibliography.
Questionnaires responded by the three groups of institutions involved in the evaluation - CENEP university level institutions and local public health services - showed a predominance of congruencies among the three groups of institutions regarding the eight parameters of training in epidemiology. However, discrepancies as well as agreement concerning failure to attain CENEPI’s parameters on the part of university level institutions and local public health services were noticeable.
Key terms:
Evaluation in(of) public health interventions; Evaluation of training in epidemiology; Training in epidemiology; Parameters for training in epidemiology
Avaliar é um processo que se impõe à gestão pública; não menos importante do que o planejar e o executar, o avaliar informa sobre a eficácia e eficiência do que foi realizado. Entretanto, avaliações necessitam de estrutura teórica que as justifiquem, sustentem e integrem, sem o que, elas correm o risco de se tomarem inválidas; não poucas vezes, avaliações são prejudicadas por vieses e ambiguidades que tomam seus resultados ininterpretáveis e, por consequência, inúteis.
Numerosos modelos teóricos têm sido propostos e utilizados na prática de avaliar; entre eles, os de Stufflebeam (1971), de Scriven (1973) e de Stake (1956; s.d.). Estes e outros modelos teóricos têm sido empregados para avaliar programas de diferentes características. A escolha de um modelo para uma avaliação deve ser condicionada pela adequação das características deste às características daquela. No caso da presente avaliação de programas de treinamento em epidemiologia patrocinados pelo CENEPI, escolheu-se o modelo de Robert Stake, também denominado -modelo de discrepância."
Quais razões justificam essa escolha? Em primeiro lugar, o modelo é simples; ele consiste do intercruzamento entre a dimensão temporal do objeto da avaliação -constituída de antecedentes, transações e resultados -e da dimensão de contraste (ou discrepância) entre intenção e realização. Em segundo lugar, dada a sua simplicidade, o modelo de Stake é também flexível, acomodando exemplares diferenciados do objeto de avaliação. Explicitando, o modelo em questão permite identificar discrepâncias ou convergências verificadas cm três momentos de qualquer treinamento: nos antecedentes, ou seja, na fase preparatória, nas transações, ou seja, no transcurso do treinamento e, finalmente, nos resultados do treinamento. Por outro lado, tendo uma estrutura simples, o modelo pode aplicar-se a diferentes contextos de treinamento; diferentes no que se refere a conteúdos, clientela e contexto de saúde nos quais se realizam os treinamentos. Essas dimensões do modelo de Stake estão representadas na matriz que segue:
Definido o modelo a ser adotado na avaliação, segue-se a pergunta, O que precisa ser avaliado? A resposta à pergunta é encontrada no documento do CENEPI, Termo de referência para capacitação cm epidemiologia (1992)STAKE, R. E. Language, rationality and assessment. In: Curriculum evaluation. (s.d.) Termo de referência para capacitação em epidemiologia. Centro Nacional de Epidemiologia, Ministério da Saúde, 1992., no qual aquele Centro indica oito referenciais que devem balizar os treinamentos em Epidemiologia resultantes de convênios. Os termos de referência são os seguintes: (a) planejamento conjunto do treinamento, (b) diagnóstico dos recursos humanos em Epidemiologia, (c) avaliação continuada dos convênios, (d) seleção e aproveitamento dos candidatos, (e) liberação dos candidatos/modularização dos cursos, (f) instalação de núcleos de Epidemiologia, (g) assessoramento de equipes após treinamento e (h) disseminação de bibliografia do treinamento.
Da justaposição dos componentes do modelo de Stake sobre os referenciais, nomeados anteriormente, resultaram três questionários, constituídos de 54 itens. Os questionários destinam-se às três entidades responsáveis pelos treinamentos: as unidades formadoras de recursos humanos (UFRH), os serviços de saúde (SS) e o próprio CENEPI.
Procedimentos
A seguir, relata-se sucintamente os procedimentos de operacionalização da avaliação, compreendendo a coleta dos dados, metodologia de tratamento dos mesmos e limitações da avaliação.
Coleta dos Dados
A operacionalização consistiu no envio, pelo CENEPI, dos questionários às unidades formadoras de recursos humanos (UFRH's) conveniadas e aos serviços de saúde (SS); além dessas entidades, o próprio CENEPI, representado pela sua Unidade de Apoio ao Desenvolvimento da Epidemiologia (UADE), respondeu o questionário próprio.
Por telefone e por via escrita, o CENEPI manteve contato comas 10 instituições conveniadas, assim corno com os serviços de saúde a fim de obter seus questionários respondidos. Foram remetidos os questionários das seguintes instituições:
Instituições conveniadas às quais foram enviados questionários de avaliação. O sinal (+) indica questionário retornado e o sinal (-) indica questionário não retornado.
Como se pode observar, sete dos dez convênios objetos da presente avaliação completaram os três questionários; aos restantes três faltaram questionários, seja da UFRH seja do SS. É necessário salientar que a ausência de dados nesses convênios restringe a abrangência e eficácia da avaliação.
Recebidos os questionários, o avaliador passou a tabulá-los numa matriz que permitisse observar os dados das três instituições simultaneamente. Essa particularidade é importante à luz do modelo de Stake, vez que nele pretende-se constatar congruências e discrepâncias originárias daquilo que se intencionou acontecesse e do que efetivamente foi observado na execução dos convênios de treinamento em Epidemiologia. A matriz de resumo dos dados seguiu o formato do quadro sumário dos itens, apresentado na formulação do modelo de Stake, no início deste trabalho.
Para que os dados pudessem ser entendidos pelas instituições participantes da avaliação foi necessário resumi-los, dando-lhes interpretação inteligível. No presente caso, adotou-se uma convenção da qual se pudesse inferir com o máximo de consistência e integridade as respostas dos questionários. Nessa convenção ressaltam dois aspectos: (a) os referenciais explicitados pelo CENEPI para os convênios, em número de oito, e (b) a concordância ou discrepância entre os respondentes em cada item. Com base nesses parâmetros, convencionouse assinalar com a letra A itens cujas respostas tivessem sido compatíveis com o a expectativa do CENEPI e cujos respondentes tivessem respondido congruentemente. Similarmente, assinalou-se com a letra B os itens cujas respostas fossem parcialmente compatíveis com a expectativa do CENEPI; isto é, quando um dos respondentes tivesse respondido dando a expectativa como atendida e o outro tivesse dado resposta discrepante deste. Finalmente, atribui-se a letra C a itens cujos respondentes tenham dado resposta congruente, porém, deixando de atender ao referencial do CENEPI. Essa convenção foi aprovada pela UADE.
Tabulados os dados com base na convenção descrita anteriormente, passou-se ao sumário dos mesmos por convênio. Isto é, num quadro resumo representaram-se os oito referenciais de avaliação do CENEPI e o número de ocorrências das categorias de avaliação A, B, e C, explicitadas no parágrafo anterior. Através desse meio procurou-se fornecer a cada instituição integrante de um convênio um perfil do mesmo à luz dos oito referenciais de avaliaç,1o do CENEPI.
Limitações
Toda avaliação é suscetível à influência de fatores de diferentes naturezas. A presente avaliação não foi exceção; ao contrário, ela foi afetada por defeitos, os quais cumpre apontar. Tais defeitos, é possível, terão influído no resultado apresentado na avaliação; eles são de três ordens: defeitos do instrumento, de operacionalização e de cronologia.
Os questionários destinados às Unidades Formadoras de Recursos Humanos (UFRH), Serviços de Saúde (SS) e ao próprio CENEPI após terem sido elaborados pelo avaliador, foram submetidos à Unidade de Apoio ao Desenvolvimento da Epidemiologia (UADE) do CENEPI, a qual, por sua vez, os submeteu às UFRH em reunião. Por conseguinte, os questionários efetivamente enviados àquelas entidades foram anteriormente validados pelas instituições conveniadas objeto da avaliação. Esse procedimento, conquanto útil, não impede que defeitos de pequeno porte neles se imiscuam. Por exemplo, alguns itens dos questionários não foram sequenciados eficientemente, obrigando, dessa forma, o respondente a seguir uma sequência linear, quando sua resposta poderia remetê-lo a itens mais adiantados. Tal sequenciamento ocasiona confusão ao respondente e prejudica a lógica interna do instrumento. Teria sido desejável, também, que o próprio avaliador aplicasse o questionário pessoalmente a uma das entidades, o que possivelmente lhe permitiria dar-se conta de inadequações tais como a referida, além de outras; entretanto. isso não foi possível.
Ocorreram também limitações de ordem operacional. Por exemplo, questionários enviados equivocadamente a instituições e omissão de página num dos instrumentos; embora corrigidos esses erros, eles certamente causam confusão e dispõem o respondente desfavoravelmente. Finalmente, a cronologia da avaliação foi responsável por limitações. O período durante o qual se processou a avaliação coincidiu, no caso ele seis UFRH, com treinamentos ainda não concluídos; essa circunstância repercutiu nas respostas, em particular nos referenciais 4 (seleção dos candidatos) e 6 (instalação de núcleos de Epidemiologia). Além disso, é preciso assinalar a ausência de dados relativos a três dos convênios. Esses dados omitidos da avalição significam, como já foi dito, um fator restritivo à confiabilidade da avaliação como um todo.
As limitações enumeradas não assumiram, entretanto, porte que invalide os resultados finais da avaliação. Ressaltadas, elas alertam os que integram a audiência da avaliação primeiro, para a necessidade de exercer-se cautela na interpretação dos resultados; em segundo lugar, servem para que empreendimentos futuros busquem evitá-las.
Resultados
Como foi explicitado anteriom1ente, os dados obtidos através dos questionários consistiam em frequências de ocorrências das categorias A, B e Cem cada convênio. Por outro lado, o conjunto dos dados originários dos dez convênios suscita uma questão de importância central para o CENEPI, ou seja, a distribuição das categorias A, B e C no conjunto dos convénios apresenta diferenças que seriam atribuíveis a causas ou fatores mais preponderantes do que o acaso? ou, de outro modo, a distribuição daquelas categorias deu-se de forma aleatória?
Para responder essa questão recorreu-se a dois procedimentos. Primeiro, todas as frequências das categorias A, B e C foram convertidas em proporções. Esse procedimento foi motivado pela desigualdade de respostas em cada convênio. Segundo, utilizou-se a prova estatística de Kruskal-Wallis (Siegel, 1956SIEGEL, S. Estatística não-paramétrica. São Paulo: Editora McGraw - Hill do Brasil. 1956. ) para dados não-paramétricos para responder-se adequadamente a questão proposta. As proporções de frequências das categorias A, B e C nos dez convênios estão apresentadas no quadro a seguir.
As proporções representadas no quadro acima, transformadas em dados ordinais produziram os seguintes valores: categoria A, 189; categoria B, 164.5 e categoria C, 111.5. Esses números, submetidos ao teste de Kruskal -Wallis, resultou no valor 4.77 para o índice H.
Consultando-se a tabela pertinente, verificou-se que esse valor ele H corresponde a uma probabilidade de p = 10, ou seja, valores como os que se obtiveram para as categorias A, B e C poderiam ser obtidos por acaso cm 10 de 100 amostras análogas. Tendo-se em conta que a pesquisa em Ciências Sociais tem estabelecido o valor p = .05 como limiar definidor de provável causalidade, cabe rejeitar essa hipótese com referência aos dados obtidos na presente avaliação. Reiterando, a distribuições das categorias A, B e C resultantes dos dados reunidos dos 10 convênios não se deve a um fator ou causa que tenha atuado sistematicamente no conjunto das instituições conveniadas. Ao contrário, tal distribuição provavelmente obter-se-ia ordinariamente em situações análogas às da presente avaliação.
Comentários
Nos convênios para treinamento em Epidemiologia celebrados entre o CENEPI e as dez Unidades Formadoras de Recursos Humanos predomina a categoria A do sistema de categorias adotado na presente avalição. Isso implica dizer que, de uma forma global as instituições envolvidas na avaliação -Unidades Formadoras de Recursos Humanos, Serviços de Saúde e CENEPI-percebem que os oito referenciais estabelecidos pelo mesmo CENEPI para os referidos treinamentos foram atingidos. Reportando-se ao modelo de Stake, chega-se à conclusão de que predominam na avaliação congruências entre o intencionado e o realizado. Esta é a interpretação autorizada pelos dados obtidos através dos questionários.
Se, por um lado, essa é a interpretação derivada da análise estatística dos dados, por outro lado, a avaliação aponta para uma elevada ocorrência de percepções desencontradas (discrepantes) entre as instituições envolvidas na avaliação quanto aos oito referenciais do CENEPI. Isso implica dizer que são numerosas as ocorrências em que uma instituição - por exemplo, a UFRH- afirma que um dado referencial foi atingido e outra instituição - por exemplo, o SS ou o CENEPI - afirmam que isso não aconteceu ou que ignoram se aconteceu ou não. Este dado alerta para a necessidade de uma comunicação clara, unívoca e ininterrupta entre as instituições envolvidas nos convênios de treinamento.
É também elevada a ocorrência de percepções congruentes de que um dado referencial de avaliação não foi atingido. Neste caso, embora a congruência das percepções tenha se verificado, existe uma clara indicação de que a realidade ficou aquém da expectativa. Este é o caso, por exemplo, de dois indicadores da avaliação dados como não atingidos na quase totalidade dos dez convênios; foram eles a participação do CENEPI no levantamento dos recursos humanos em epidemiologia na localidade do treinamento e a disseminação da bibliografia produzida por uma UFRH entre as demais. Em ambos os indicadores as informações dão conta de que eles deixaram de ser atingidos na ampla maioria dos convênios.
Em conclusão, há evidências de que o modelo de Stake, adotado na presente avaliação mostrou-se útil e válido cm responder questões relativas à eficácia e eficiência dos treinamentos em epidemiologia resultantes de convênios celebrados entre o CENEPI e as UFRH. Pode-se afirmar, com base nos dados reunidos que predominam os referenciais do CENEPI atingidos nos treinamentos. Entretanto, ao mesmo tempo, os dados revelam um número igualmente elevado de percepções discrepantes quanto ao atingimento daqueles referenciais, assim como um número elevado de testemunhos coincidentes de que tais referenciais não foram atingidos. Essas são, certamente, áreas requerendo melhoras em treinamentos futuros.
Referências Bibliográficas
- SIEGEL, S. Estatística não-paramétrica São Paulo: Editora McGraw - Hill do Brasil. 1956.
- STAKE, R. E. Language, rationality and assessment In: Curriculum evaluation. (s.d.) Termo de referência para capacitação em epidemiologia. Centro Nacional de Epidemiologia, Ministério da Saúde, 1992.
-
Projeto financiado pelo CENEPI/MS
Datas de Publicação
-
Publicação nesta coleção
24 Jul 2020 -
Data do Fascículo
Jan-Dec 1995
