Contribuições e adaptação da matriz canadense para mensuração do retorno do investimento em pesquisa em saúde no âmbito da pós-graduação da Fundação Oswaldo Cruz

Contributions and adaptation of the Canadian matrix to measure the return on investment in health research under the Oswaldo Cruz Foundation graduate program

Resumos

Este artigo apresenta a adaptação da matriz e indicadores para mensuração do retorno de investimento em pesquisa em saúde, para avaliação de um programa de indução à pesquisa, no âmbito de 16 cursos de doutorado da Fundação Oswaldo Cruz, uma das ações do Plano Brasil Sem Miséria. A matriz canadense se mostrou adequada para avaliação dos resultados do programa, em virtude dos atributos como flexibilidade, amplitude e profundidade, contemplando abordagens quantitativas e qualitativas. Para adaptação, foram consideradas as cinco dimensões avaliativas, bem como seus indicadores e métricas, critérios como validade, relevância, disponibilidade, custo e tempo de coleta de dados, orientaram a adaptação ao contexto brasileiro e ao objeto de estudo. Como resultado apresenta-se a matriz adaptada, os indicadores, assim como a fonte de coleta de dados e forma de análise dos dados. Ressalta-se a relevância deste estudo como contribuição à crescente demanda acadêmica e da sociedade civil por avaliação do investimento de recursos públicos em pesquisa.

Palavras-chave:
Avaliação em saúde; Pesquisa em saúde; Pós-graduação

This article presents the adaptation of the matrix and indicators for measuring the return on investment in health research, for the evaluation of a research induction program, within 16 doctoral courses of the Oswaldo Cruz Foundation, one of the actions of the Brasil Sem Miséria Plan. The Canadian matrix proved to be adequate for evaluating the results of the program, due to attributes such as flexibility, breadth and depth, including quantitative and qualitative approaches. For adaptation, the five evaluative dimensions were considered, as well as their indicators and metrics, criteria such as validity, relevance, availability, cost and time of data collection, guided the adaptation to the Brazilian context and the object of study. As a result, the adapted matrix, the indicators, as well as the data collection source and data analysis method are presented. The relevance of this study is highlighted as a contribution to the growing academic and civil society demand for evaluating the investment of public resources in research.

Keywords:
Health evaluation; Health research; Postgraduate

1 Introdução

O enfrentamento à extrema pobreza foi, nas duas últimas décadas, a principal agenda dos governos brasileiros. Em resposta ao levantamento do IBGE (2010) - que identificou cerca de 16 milhões de brasileiros vivendo abaixo da linha da pobreza, mesmo após anos de investimento em ações e programas sociais, especialmente o programa de transferência de renda condicionada, o Bolsa Família - o governo federal implementou, em 2011, o Plano Brasil Sem Miséria (PBSM) que teve como meta a erradicação da miséria em 4 anos (BRASIL, 2011; CAMPELLO; MELLO, 2014).

O Plano foi coordenado pelo então Ministério do Desenvolvimento Social e Combate à Fome (MDS) e articulou e integrou políticas, programas e ações sociais. Dentre suas diretrizes destaca-se “a articulação de ações de garantia de renda com ações voltadas à melhoria das condições de vida da população extremamente pobre, de forma a considerar a multidimensionalidade da situação da pobreza” (PAES-SOUSA, 2013; PAES-SOUSA; VAITSMAN, 2014).

A partir desta perspectiva, no campo da saúde, um dos pontos mais sensíveis para as pessoas que vivem em condições de negligência, a Fundação Oswaldo Cruz (Fiocruz), em parceria com o MDS e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), implementou um programa de indução à pesquisa em saúde relacionado à extrema pobreza, no período de 2012 a 2018, que contou com participação de 16 cursos de doutorado da Fiocruz.

O referido programa de indução à pesquisa teve como objetivo a geração de conhecimentos em saúde para mitigação dos problemas relacionados à extrema pobreza. Após o período de indução e apoio às pesquisas, os produtos foram apresentados em forma de teses, artigos científicos, produções técnicas e educacionais. Era preciso avaliar seus resultados e verificar se os objetivos esperados foram alcançados.

Para isso, foi realizada uma pesquisa avaliativa que teve três motivações/justificativas: a primeira, de cunho social, por abordar a questão da extrema pobreza e discutir a possibilidade de contribuição concreta por parte da academia para o enfrentamento da miséria; a segunda, de cunho acadêmico, se baseou na relevância do objeto de estudo, que carregava com si a responsabilidade de ser uma das primeiras iniciativas de aproximação entre academia e políticas sociais, sob fomento da CAPES; e a terceira, de cunho profissional atrelado ao compromisso institucional das autoras, de apresentar evidências sobre os resultados desta iniciativa, que estava diretamente relacionada à missão institucional da Fiocruz, de contribuir com a diminuição das desigualdades sociais.

A pesquisa teve início com um estudo de avaliabilidade, publicado em 2021, que foi desenvolvido para construção e validação do modelo lógico do programa de indução e identificação das perguntas avaliativas dos stakeholders das três instituições envolvidas. Os resultados deste estudo indicaram que o programa era passível de avaliação e orientaram a decisão pela matriz e indicadores disponíveis no documento intitulado Making an Impact: A preferred Framework and Indicators to Measure Returns on Investment in Health Research (CAHS, 2009), aqui denominada Matriz CAHS, pois a principal questão avaliativa identificada foi se o investimento público neste programa indução à pesquisa em saúde retornou aos extremamente pobres e a sociedade de forma geral.

A escolha pela Matriz CAHS deve-se ao fato de que a mesma congrega diferentes abordagens metodológicas em um modelo de fácil compreensão e utilização, além de compreender um amplo menu de indicadores elaborado para contemplar as diversas necessidades avaliativas de diferentes programas, assim como abordagens quantitativas e qualitativas, se constituindo como um modelo prático, robusto, objetivo e, especialmente, aplicável.

Poucos estudos tratam da metodologia canadense de mensuração do retorno do investimento em pesquisa em saúde, a referida metodologia é citada em quatro artigos de revisão: Greenhalgh et al. (2016); Holmes et al. (2012); Penfield et al., (2014); Banzi et al., (2011), e em dois estudos internacionais e em estudo um nacional: Graham et al. (2012); Adam (2012); Tuesta (2015), respectivamente, nos quais a Matriz foi aplicada, o que muito contribuiu para a adaptação aqui apresentada.

Atributos como amplitude, profundidade e flexibilidade da Matriz CAHS demonstraram a coerência em utilizá-la para avaliação do referido programa de indução à pesquisa em saúde. Diversos aspectos reforçaram a viabilidade da aplicação ao contexto brasileiro e à intervenção estudada, como por exemplo, as similaridades entre: i) o princípio comum dos sistemas canadense e brasileiro, especialmente no que esse refere à universalidade da atenção primária em saúde; ii) similaridade entre as perspectivas do modelo de determinação social da saúde canadense e brasileiro, que consideram desde aspectos individuais até o contexto sociocultural, econômico e ambiental; e iii) semelhança entre a estruturação da pesquisa em saúde canadense e brasileira, sendo a primeira organizada em: pesquisa biomédica básica, pesquisa clínica aplicada, pesquisa de serviços de saúde e políticas, e pesquisa em população e saúde pública; e a segunda, organizada em: pesquisa básica, pesquisa aplicada e pesquisa em saúde pública e saúde coletiva.

As convergências entre a Política Nacional de Ciência, Tecnologia e Inovação em Saúde brasileira e os referenciais teórico-metodológicos que subsidiaram o desenvolvimento da Matriz CAHS, como a premissa de que a pesquisa em saúde é constituída por conhecimentos, tecnologias e inovações, cuja aplicação pode resultar em melhorias na saúde da população, também orientaram a decisão.

Por fim, o ineditismo do programa de indução também foi considerado no processo decisório da escolha metodológica, uma vez que a Matriz CAHS pode ser considerada como um instrumento de aprendizagem, o que corrobora com um dos principais objetivos da avaliação, aprender com esse processo de aproximação entre a academia às políticas sociais, por meio da indução de pesquisa em saúde.

Este artigo tem o objetivo de apresentar as contribuições e a adaptação da Matriz CAHS realizadas para avaliar o programa de indução Fiocruz-CAPES-Brasil Sem Miséria e se justifica pela crescente demanda por avaliações sobre o retorno de investimentos públicos em pesquisa.

Métodos

A Matriz CAHS foi desenvolvida para ser utilizada como um roteiro de acompanhamento dos impactos de pesquisa em saúde em cinco dimensões avaliativas: 1) Avanço do Conhecimento; 2) Capacitação, aqui denominada Formação de Recursos Humanos; 3) Tomada de Decisão baseada em informação; 4) Impactos na Saúde; e 5) Impactos Socioeconômicos.

A partir dos critérios estabelecidos pela Academia Canadense de Ciências da Saúde, como validade, relevância, disponibilidade e custo dos dados, tempo de coleta e atribuição dos dados às pesquisas induzidas pelo programa é que se propôs a adaptação e as contribuições a Matriz, aqui apresentadas.

Em relação às dimensões avaliativas, três das cinco previstas na Matriz CAHS foram utilizadas na avaliação, a saber:

• Avanço do Conhecimento: busca identificar e qualificar a produção científica do investimento em pesquisa analisado. Essa dimensão apresenta métricas de qualidade, atividade, divulgação e aspecto estrutural do portfólio de pesquisa. Em geral, os indicadores são análises bibliométricas e análise da produção dos pesquisadores.

• Formação de Recursos Humanos: busca identificar o desenvolvimento e aprimoramento de habilidades de pesquisa em indivíduos e equipes. Abrange a capacidade atual de pesquisa por meio da equipe, considerando a próxima geração de pesquisadores.

• Tomada de decisão baseada em informação: busca identificar efeitos da pesquisa em saúde nas áreas da ciência e práticas públicas, clínicas e da tomada de decisão gerencial e do público em geral.

A decisão do investimento em três dimensões foi fundamentada em função do escopo do programa de indução estudado, tempo decorrido pós-indução, tempo para desenvolvimento e conclusão da avaliação, assim como a viabilidade da coleta de dados.

As duas últimas dimensões, impactos na saúde e impactos socioeconômicos foram excluídas da avaliação, pois além de apresentarem o problema de atribuição acentuado, ou seja, dificuldade em atribuir uma relação causa-efeito, exigiria acompanhamento das mudanças durante um período maior de tempo.

Outra adaptação necessária pelos motivos supracitados, foi em relação às etapas finais da Matriz CAHS, as etapas de “adoção” e “resultados finais” foram suprimidas. Dessa forma, a adaptação proposta neste estudo foi representada de duas formas: a primeira, por meio de um quadro síntese (Quadro 1) e a segunda por meio do modelo lógico (Figura 1)

Quadro 1
Matriz CAHS adaptada ao Programa Fiocruz-Capes-BSM

MODELO	P&D em Saúde	Disseminação Produtos Primários	Produtos Secundários	Adoção	Resultados Finais
Categorias Avaliativas
Avanço do Conhecimento	*	*	*	--	--
Formação de Recursos Humanos	*	*	*	--	--
Tomada de Decisão baseada em informação/evidência	*	*	*	--	--
Impactos na Saúde	--	--	--	--	--
Impactos Socioeconômicos	--	--	--	--	--

• Fonte: Elaborado pelas autoras

Figura 1
Modelo Lógico da Adaptação da Matriz CAHS ao Programa de Indução à Pesquisa em Saúde: Fiocruz-CAPES-Brasil Sem Miséria

Para definição do conjunto de indicadores do menu proposto pela Matriz CAHS, foram utilizados os diagramas dos quatro pilares da pesquisa em saúde: pesquisa biomédica, pesquisa clínica aplicada, pesquisa em serviços de saúde e população e pesquisa em saúde pública e ainda na pesquisa transversal, de forma a identificar onde indicadores ou métricas para esses efeitos deveriam ser concentrados.

As orientações da CAHS foram norteadoras do processo, especialmente os alertas quanto ao uso inadequado da Matriz, como a busca por, apenas, resultados positivos e a dupla contagem dos resultados e efeitos das pesquisas.

O conjunto de categorias, subcategorias e indicadores foram classificados em:

• adotados: como descritos na Matriz;

• adaptados: descritos na Matriz, mas adequados às características do programa avaliado;

• incluídos: ausentes na Matriz e inseridos para obter dados relevantes para responder à questão da pesquisa; e

• excluídos: presentes na Matriz e suprimidos, por não estarem relacionados aos objetivos da avaliação ou por não terem aplicação viável.

Da mesma forma, adaptou-se ao contexto da pesquisa os níveis que a Matriz busca descrever: individual, institucional, regional/estadual, nacional e internacional. Neste estudo os níveis definidos foram, apenas, os níveis individual e institucional, por se tratar de um estudo de caso (YIN, 2001).

Resultados e discussão

Os resultados apresentados a seguir foram organizados pelas dimensões avaliativas que compuseram o estudo. O Quadro 2 sintetiza as categorias e os indicadores, os Quadros 3, 4 e 5 apresentam de forma detalhada a descrição dos indicadores, a fonte de dados e suas limitações e a forma que os dados foram analisados.

Quadro 2
Síntese de Indicadores por Dimensão e Categoria Avaliativas

Dimensão Avaliativa	Categoria Avaliativa	Indicadores
Formação de Recursos Humanos	Pessoal	Número de Doutores Formados
	Formativa	Seleção
		Formação e Acompanhamento Institucional
	Indicadores Aspiracionais	Capacidade de Absorção no Mercado de Trabalho
		Pós-Doutoramento
Avanço do Conhecimento	Atividade	Contagem de Publicação: Teses, Artigos, Livros e Capítulos de Livro
		Número e Descrição de Produções Técnicas
	Qualidade	Publicação em Meios de Alta Qualidade
		Contagem de Citações da Produção Científica: Artigos, Livros e Capítulos de Livro
		Análise Qualitativa das Teses à luz da temática da indução à pesquisa
Tomada de Decisão baseada em informação e evidências	Educação Relacionada à Saúde	Produtos Educacionais e Informativos
	Indústria de Produtos para Saúde	Número de Patentes e Softwares Registrados

• Fonte: Elaborado pelas autoras

Quadro 3:
Dimensão Avaliativa: Formação de Recursos Humanos

Categoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise de Dados
Pessoal	Doutores Formados	Número de doutorandos (recém-doutores) que concluíram as pesquisas alinhadas ao BSM	Fonte: Dados Oficiais da VPEIC/Fiocruz	Descritiva - Número de alunos bolsistas. - Número de alunos não bolsistas. Espera-se: - identificar o número de doutorandos que participaram do programa de indução, com ou sem bolsa de estudos. Comparativa: (acima ou abaixo do esperado): - Número de alunos matriculados x formados. Espera-se: - identificar se o percentual de alunos concluintes é de 80% dos alunos matriculados. Referência: - Taxa de 80% de conclusão na pós-graduação stricto sensu, Colombo (2019) e Fernandes et al. (2017).
Formativa	Seleção	Clareza quanto aos critérios de seleção e produtos esperados no processo seletivo.	Fontes: Websites e Secretaria Acadêmica das Pós-Graduações Limitações: -Ausência dos editais anteriores nos websites das pós-graduações -Não retorno da Secretaria Acadêmica das Pós-Graduações	Documental Descritiva: Análise dos Editais do processo seletivo para a indução BSM Espera-se: - identificar a existência de editais de seleção específicos para o programa de indução; - identificar critérios de seleção claros e produtos esperados, descritos de forma explícita no documento.
Formativa	Seleção	Clareza quanto aos critérios de seleção e produtos esperados no processo seletivo.	Fonte: Questionário Questão: “O edital de seleção estava claro quanto aos critérios de entrada e produtos esperados referentes ao programa BSM?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Esperava-se: - identificar, a partir da percepção do egresso, se os compromissos com o programa de indução estavam claros, desde o processo seletivo. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com orientações para o programa de indução BSM aos programas de pós-graduação (2011).
Formativa	Formação	Realização de disciplinas sobre a temática das desigualdades, extrema pobreza e relação com a saúde	Fonte: Questionário Questões: - “Você cursou disciplinas que trataram da temática da desigualdade sociais, extrema pobreza e suas relações com a saúde?” - “Essa(s) disciplina(s) foram cursadas em qual programa de pós-graduação?” - “A disciplina cursada atendeu sua expectativa quanto ao aprofundamento e/ou discussão sobre a questão da desigualdade/pobreza, contribuindo para sua pesquisa?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Espera-se: -identificar se os doutores cursaram disciplinas relacionadas à temática da indução (saúde e extrema pobreza) e se, na percepção deles, estas contribuíram para o processo formativo. Referência: não houve orientação institucional para oferta de disciplinas sobre a temática, contudo em análise exploratória identificou-se a oferta destas disciplinas.
Formativa	Formação	Realização de seminários e outras formas de acompanhamento das pesquisas induzidas	Fonte: Questionário Questões: -“A partir da sua experiência como aluno de doutorado no Programa Fiocruz-CAPES-BSM, você afirmaria que institucionalmente (a coordenação geral de pós-graduação e/ou o programa de pós-graduação) promoveram ações para o acompanhamento e a alinhamento das pesquisas ao contexto do Brasil Sem Miséria?” - “Quais ações você destacaria?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Esperava-se: - identificar se houve acompanhamento institucional na forma prevista e/ou além da forma prevista; - identificar qual(is) forma(s) de acompanhamento institucional os doutores reconheceram. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição que os projetos induzidos seriam acompanhados por meio da realização de seminários (2011) - Anexo II desta tese.
		Adequação e suficiência do acompanhamento das pesquisas induzidas	Fonte: Questionário Questões: -“Mais ações [de acompanhamento] foram/seriam necessárias?” [em caso positivo] -“Que ações você entende que deveriam ter sido promovidas para o acompanhamento dos doutorandos?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Espera-se: - identificar se a estratégia de acompanhamento definida institucionalmente foi adequada, na perspectiva dos doutores formados; - identificar se as ações foram suficientes para atender as necessidades dos doutores formados; e - identificar as propostas dos egressos de ações de acompanhamento. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição que os projetos induzidos seriam acompanhados por meio da realização de seminários (2011).
Aspiracional	Inserção profissional dos Doutores formados	Capacidade de absorção no mercado de trabalho e/ou melhoria da situação empregatícia	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Esperava-se: - identificar se o doutoramento contribuiu para a atuação profissional do doutor formado. - identificar se os doutores estão inseridos no mercado de trabalho. Referências: - a taxa de desocupação de doutores no Brasil é de 25% (MEIRA, 2019). O contexto econômico e político brasileiro não contribuiu para absorção de recém-doutores no mercado de trabalho. - 61,5% dos doutores no Brasil atuam na área de ensino e pesquisa (CNPq, 2017).
Aspiracional	Prosseguimento dos estudos no âmbito de pós-doutoramento	Realização do pós-doutorado e temática prosseguimento de estudos sobre a temática que envolve a pobreza	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Esperava-se: - identificar se os doutores formados seguiram ou desejam seguir com estudos/pesquisas no pós-doutorado.

• Fonte: Elaborada pelas autoras, a partir da adaptação da Matriz Canadense de Mensuração de Retorno do Investimento em Pesquisa em Saúde

Quadro 4
Dimensão Avaliativa: Avanço do Conhecimento

Categoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise de Dados
Atividade	Produção Científica	Contagem de Publicação: Artigo em Periódico Livros Capítulos de Livros Teses	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Comparativa (acima ou abaixo do esperado) Esperava-se: - identificar ao menos 1 artigo publicado em periódico pelos concluintes sobre a temática da pesquisa e/ou em co-autoria do/a orientador/a da tese; e - identificar a produção de 74 teses, considerando o taxa de conclusão admitida (80%). Referências: - Regimento Geral da Pós-Graduação da Fiocruz, obrigatoriedade de submissão/publicação de um artigo para defesa de doutorado; - Taxa de 80% de conclusão na pós-graduação stricto sensu, Colombo (2019) e Fernandes et al. (2017).
Qualidade	Qualis das publicações na área que a pós-graduação está inserido na CAPES	Verificação do Qualis dos Periódicos	Fontes: Currículo Lattes Plataforma Sucupira - Webqualis Limitação: Não atualização do Currículo Lattes.	Comparativa (acima ou abaixo do esperado) Esperava-se: - identificar publicação de artigos em periódicos com Qualis B1, na área de avaliação de cada pós-graduação. Referência: A partir dos Regimentos das Pós-graduações, considerando que a maior exigência encontrada foi a publicação em periódicos Qualis B1, este ficou estabelecido como parâmetro mínimo de qualidade, para área de avaliação de cada doutorado.
Qualidade	Número de Citações	Verificação do Qualis dos Periódicos	Fontes: Currículo Lattes Scholar Google Limitação: Não atualização do Currículo Lattes.	Descritiva - Número de citações da produção científica: Artigos, Capítulos de Livros e Livros. Espera-se: - identificar o número citações da produção científica produto do programa de indução. Comparativa (acima ou abaixo do esperado)
Qualidade	Produção Acadêmica Teses	Abordagem sobre a temática da extrema pobreza e sua relação com a saúde e a pesquisa realizada	Fonte: Teses Limitação: Não disponibilização das Teses em Acesso Aberto e/ou Domínio Público	Análise Textual-Discursiva A partir do roteiro apresentado no item 3.2.2.1. buscou responder as seguintes questões: - houve alinhamento à perspectiva multidimensional da pobreza orientadora do Plano Brasil Sem Miséria? - qual forma e/ou ênfase foi dada à perspectiva da extrema pobreza nas teses? - quais temáticas de saúde foram objetos de estudo das teses? Esperava-se: - que as teses tenham abordado a perspectiva multidimensional da pobreza; - que as teses tenham discutido a pobreza como determinante social da saúde; - que as teses estejam centradas em Doenças da Pobreza. Referência: os referenciais teóricos que subsidiaram esta análise serão apresentados no roteiro supracitado.
Atividade	Produção Técnica	Número e descrição dos produtos técnicos	Fonte: Teses e Questionário Questões: - “Dentre os produtos de sua pesquisa era esperado a tese, para obtenção do título de Doutor, e também produtos técnicos relacionados ao Programa Brasil Sem Miséria. Qual produto técnico foi resultado da sua pesquisa?” - “O produto técnico informado na questão anterior foi aplicado para além do período de doutoramento?” [em caso positivo] - " Como foi a aplicação do produto técnico de sua pesquisa?” [em caso negativo] - “Qual motivo você acredita que dificultou ou impossibilitou a aplicação do produto técnico da sua tese?” Limitações: - Não disponibilização das Teses em Acesso Aberto e/ou Domínio Público, por conta de embargos - Não apresentação do produto técnico na tese - Baixo número de respondentes ao questionário - Veracidade das respostas	Documental Descritiva: Análise das Teses Espera-se: - identificar qual o tipo de produto técnico foi apresentado em cumprimento a exigência da indução (nota técnica, material informativo, material didático); - identificar se o produto técnico foi aplicado; - identificar a forma de aplicação, quando for o caso; e - identificar o motivo, que o egresso atribuiu a não aplicação do produto técnico. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que um dos compromissos dos doutores era produzir ao menos um produto técnico relacionado aos serviços públicos focalizados no BSM, ou ao público-alvo do BSM ou aos territórios em que o BSM identificou pessoas vivendo abaixo da linha da extrema pobreza (2011).

• Fonte: Elaborada pelas autoras, a partir da adaptação da Matriz Canadense de Mensuração de Retorno do Investimento em Pesquisa em Saúde

Quadro 5
Dimensão Avaliativa: Tomada de Decisão baseada em Informação/Evidências

Categoria Avaliativa	Subcategoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise dos Dados
Educação relacionada à Saúde	Produtos Educacionais	Produtos Educacionais Registrados	Número de Produtos Educacionais Registrados	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Número de produtos educacionais registrados Esperava-se: - identificar os produtos educacionais, frutos das pesquisas, que foram registrados. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que registro de patentes seria uma das estratégias para atender ao compromisso firmado com o programa de indução (2011).
Produtos para Saúde	Patentes	Patentes Registradas	Número de Patentes Registradas	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Número de patentes registradas Esperava-se: - identificar as patentes, frutos das pesquisas, que foram registradas. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que registro de patentes seria uma das estratégias para atender ao compromisso firmado com o programa de indução (2011).

• Fonte: Elaborada pelas autoras, a partir da adaptação da Matriz Canadense de Mensuração de Retorno do Investimento em Pesquisa em Saúde

A seguir são apresentadas as fontes de dados, assim como a proposta de análise dos mesmos, propostos para essa adaptação:

• Plataforma Sucupira/CAPES: base de referência do Sistema Nacional de Pós-Graduação (SNPG), dispositivo no qual se realiza a coleta de informação, análises e avaliações dos programas de pós-graduação brasileiros.

• Qualis: sistema de classificação da produção científica brasileira, baseada nos artigos publicados em periódicos de todos os programas de pós-graduações do país.

Reconhecemos que há fortes críticas ao próprio sistema de avaliação da produção científica dos programas de pós-graduação (GABARDO; HACHEM; HAMADA, 2018; SILVA, 2009), contudo esse é o parâmetro vigente ao qual a academia está submetida.

• Plataforma Lattes/CNPq: base de dados de Currículos, de Grupos de pesquisa e de Instituições. Tornou-se o padrão nacional no registro da vida pregressa e atual dos estudantes e pesquisadores do país.

Reconhecemos que há limitações importantes ao uso dos dados desta plataforma, especialmente a não atualização dos dados pelos pesquisadores e a fidedignidade dos dados, uma vez que o preenchimento é autodeclarado.

• Repositório ARCA da Fiocruz: repositório institucional regido pela Política de Acesso Aberto ao Conhecimento, que busca garantir à sociedade o acesso gratuito, público e aberto ao conteúdo integral de toda obra intelectual produzida pela Fiocruz.

• Questionário: instrumento de coleta de dados, survey, (MARCONI; LAKATTOS, 2008), aplicado aos egressos do programa BSM, por meio da plataforma GoogleForms.

Este instrumento foi testado e validado por 3 alunos, de 3 programas de pós-graduação diferentes, as contribuições foram acatadas e o questionário disponibilizado, sem possibilidade de identificação do respondente, em atendimento à solicitação dos egressos que validaram o questionário e apontaram, que sem identificação, as respostas seriam mais fidedignas.

A análise de dados, por meio da triangulação, de acordo com Minayo (2005), em uma primeira dimensão é utilizada para avaliação aplicada a programas, projetos e afins, o que vem ao encontro do estudo apresentado.

A teses foram analisadas por meio da abordagem de análise textual-discursiva de Moraes e Galiazzi (2016), que fundamentam a análise nos estudos do campo Fenomenologia e propõem um “movimento interpretativo de caráter hermenêutico”, a referida análise opera com significados construídos a partir de um conjunto de textos.

Todo esse esforço, motivado por compromisso social, acadêmico e institucional, revela o grau de investimento e detalhamento para a construção de metodologias, escolhas de indicadores e critérios, fontes de dados e tipos de análise que sejam capazes de mensuram o retorno do investimento público em pesquisa em saúde aliada às políticas sociais.

Esse tipo de estudo se propõe a contribuir para que outros programas e/ou ações de investimento em pesquisa sejam realizados e avaliados, na perspectiva de aprendizagem e contínua melhoria, evidenciando que é possível dar respostas e construir soluções para a realidade de um país como o Brasil, um dos mais desiguais do mundo, que pouco valoriza a ciência e acumula um lamentável histórico de mal-uso de recursos públicos.

Considerações

Este artigo apresentou o esforço de adaptar a Matriz de mensuração do retorno de investimento em pesquisa em saúde da Academia Canadense de Ciências da Saúde, para aplicá-la ao programa de indução à pesquisa, fruto da cooperação tripartite entre Fiocruz, CAPES e MDS.

Foram definidas três dimensões avaliativas: Avanço do Conhecimento, Formação de Recursos Humanos e Tomada de Decisão baseada em informação/evidência e seus respectivos indicadores, a partir de critérios claros e objetivos. O principal investimento desta adaptação foi na dimensão Formação de Recursos Humanos, uma vez que a Matriz canadense não foi projetada para avaliação de programas de formação de pesquisadores, como é o caso das pós-graduações que participaram desta indução.

Nesta dimensão foi incluída a categoria “formativa” com indicadores de processo seleção, formação e produção acadêmica e técnica. Neste sentido, este artigo é uma proposta metodológica, com caráter inovador, que se propõe a identificar e descrever os resultados do programa de indução, a partir da triangulação de dados, para responder se o programa alcançou ou não os resultados esperados.

Dessa forma, espera-se que outras pesquisas avaliativas possam fazer uso deste trabalho em programas com escopo semelhante.

Por fim, ressalta-se a relevância deste estudo como contribuição à crescente demanda da academia e da sociedade civil por avaliação do investimento de recursos públicos em pesquisa.

Referências

• ADAM, Paula et al Assessment of the impact of a clinical and health services research call in Catalonia. Research Evaluation, Reino Unido, v. 21, n. 4, p. 319-328, 2012. Disponível em: Disponível em: https://doi.org/10.1093/reseval/rvs024 Acesso em: 19 mar. 2018.
  » https://doi.org/10.1093/reseval/rvs024
• BANZI, Rita et al Conceptual frameworks and empirical approaches used to assess the impact of health research: an overview of reviews. Health Research Policy and Systems, Califórnia, 2011.
• BRASIL. Decreto nº 7.492, de 02 de junho de 2011. Institui o Plano Brasil Sem Miséria. Diário Oficial, Brasília-DF, 3 jun. 2011. Seção 1, p. 6. Disponível em: Disponível em: http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=6&data=03/06/2011 Acesso em: 19 mar. 2018.
  » http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=6&data=03/06/2011
• CAHS - CANADIAN ACADEMY OF HEALTH SCIENCES. Making an impact: a preferred framework and indicators to measure returns on investment in health research. Canadian, 2009.
• CAMPELLO, Terezza; MELLO, Janine. O processo de formulação e os desafios do plano Brasil Sem Miséria: por um país rico e com oportunidades para todos. In: BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. O Brasil sem miséria. Brasília: MDS, 2014.
• GABARDO, Emerson; HACHEM, Daniel; HAMADA, Guilherme. Sistema Qualis: análise crítica da política de avaliação de periódicos científicos no Brasil. Revista do Direito, Santa Cruz do Sul, v. 1, n. 54, p. 144-185, jan./abr. 2018.
• GRAHAM, Kathryn et al Evaluating health research impact: development and implementation of the alberta innovates-health solutions impact framework. Res Evaluation, Reino Unido, n. 21, p. 354-67, 2012.
• GREENHALGH, Trisha et al Research impact: a narrative review. BMC Medicine, Califórnia, 2016.
• HOLMES, Bev et al Translating evidence into practice: the role of health research funders. Implementation Science, Califórnia, 2012.
• IBGE. Instituto Brasileiro de Geografia e Estatística. Universo preliminar do Censo Demográfico. Rio de janeiro, 2010.
• MARCONI, Marina; LAKATTOS, Eva Maria. Fundamentos da metodologia científica. São Paulo: Atlas, 2008.
• MINAYO, Maria Cecilia et al Métodos, técnicas e relações em triangulação. In: MINAYO, Maria Cecilia; ASSIS, Simone Gonlaves; SOUZA, Edinilsa Ramos. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, p.75-104, 2005.
• MORAES, Raquel; GALIAZZI, Maria do Carmo. Análise textual discursiva. Ijuí: Editora Ijuí, 2016.
• PAES-SOUSA, Romulo. Plano Brasil sem miséria: incremento e mudança na política de proteção e promoção social no Brasil. Working Paper, n. 113, Brasília: Centro Internacional de Políticas para o Crescimento Inclusivo (IPC-IG), 2013.
• PAES-SOUSA, Romulo; VAITSMAN, Jeni. The zero hunger and Brazil without extreme poverty programs: a step forward in brazilian social protection policy. Ciência & Saúde Coletiva, Rio de Janeiro, v. 19, n. 11, p. 4351-4360, 2014.
• PENFIELD, Teresa et al Assessment, evaluations, and definitions of research impact: a review. Research Evaluation, Reino Unido, v. 23, n. 1, jan. 2014.
• SILVA, Antonio Ozai. A sua revista tem Qualis? Mediações, Londrina, v. 14, n.1, p. 117-124, 2009.
• TUESTA, Antonia de Jesus. Impactos das pesquisas sobre morbimortalidade materna e neonatal financiadas pelo Ministério da Saúde. 2015 Tese (Doutorado em Ciências da Saúde) - Universidade de Brasília, Brasília, 2015.
• YIN, Robert. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001.

Datas de Publicação

• Publicação nesta coleção
  10 Dez 2021
• Data do Fascículo
  Sep-Dec 2021

Histórico

• Recebido
  09 Jan 2020
• Aceito
  23 Jun 2021