Unidade de gestão de dados e de indicadores críticos para avaliação de desempenho institucional

Data management unit and critical indicators for institutional performance evaluation

RESUMO

Definir qualidade no ensino superior não é algo trivial, já que o próprio conceito de qualidade pode ter diferentes significados em diferentes contextos. A despeito das falhas conceituais e metodológicas que envolvem os rankings universitários, eles são uma realidade que veio para ficar. Eles necessitam de dados sobre as mais diversas dimensões da vida universitária, mas a falta de métricas específicas e a própria mensuração de impactos, são enormes desafios. A proposta deste trabalho é discutir as bases conceituais para um sistema de gestão de dados unificado entre as Instituições Federais de Ensino Superior (IFES). Sugere-se a criação de uma unidade de inteligência capaz de assegurar e aprofundar o autoconhecimento institucional por meio do monitoramento de indicadores e divulgação de dados para subsidiar o diálogo permanente e necessário intra e, principalmente, extra muros. Para tanto, faz-se uma discussão sobre dois aspectos fundamentais: a importância da governança e os aspectos operacionais intrínsecos de uma unidade de gestão de dados em cada IFES. Em relação à governança, discute-se a missão e o papel dos atores envolvidos; e quanto à operacionalização, discute-se a definição de conceitos, os instrumentos de coleta e análise de dados, a criação de indicadores críticos e a difusão da informação. As IFES já coletam, armazenam e fornecem dados institucionais sistematizados a diversos órgãos de controle e fomento. No entanto, a pulverização de fontes e formatos, a incompletude e a descontinuidade temporal e a falta de estruturação dos dados nos diferentes sistemas limitam sua interoperabilidade. A constituição de uma unidade que promova a curadoria e processamento de dados estratégicos com base na autonomia e acesso ágil e simples de informações é, portanto, fundamental.

Palavras-chave:
dados institucionais; Governança; Rankings; Universidades

ABSTRACT

Defining quality in higher education is not trivial, since the concept of quality itself can have different meanings in different contexts. Despite the conceptual and methodological flaws that involve university rankings, they are a reality and have come to stay. They need data on the most diverse dimensions of university life, but the lack of specific metrics and the measurement of impacts themselves are enormous challenges. The purpose of this work is to discuss the conceptual bases for a unified data management system among federal institutions of higher education (IFES in Portuguese). We suggest the creation of intelligence units capable of ensuring and deepening institutional self-knowledge through the monitoring of indicators and dissemination of data to support the permanent and necessary dialogue within and, mainly, extra walls. To this end, we discuss two fundamental aspects: the importance of governance and the intrinsic operational aspects of a data management unit at each IFES. Concerning governance, we discuss the mission and role of the actors involved; and regarding operationalization, we discuss the definition of concepts, the instruments of data collection and analysis, the creation of critical indicators and the dissemination of information. The IFES already collect, store and provide structured institutional data to several auditing and funding agencies. However, the dispersal of sources and formats, incompleteness and temporal discontinuity and the lack of structuring of data in the different systems limit their interoperability. The establishment of a unit that promotes the curation and processing of strategic data based on autonomy and fast and simple access to the information is, therefore, fundamental.

Keywords:
data management; Governance; Rankings; Universities

1 Introdução

Universidades são entendidas como instituições de geração e disseminação do conhecimento e todos os povos percebem suas universidades com instituições “boas” e necessárias. Também faz parte das atribuições das Universidades o estabelecimento de vínculos com a sociedade em que se situa e isso se dá através da associação de atividades de pesquisa àquelas de inovação e extensão. No entanto, desde o final do século XX estudantes, pais, gestores e empregadores começaram a se perguntar, por diferentes motivos, quais são as "melhores" universidades de um dado país/região ou em um dado tema/área do conhecimento.

Definir qualidade no ensino superior não é algo trivial, já que o próprio conceito de qualidade pode ter diferentes significados em diferentes contextos. De um lado, a noção de qualidade é relativa em duas perspectivas: na de quem fala e no contexto em que se fala (KRAUSE, 2012). Por outro lado, a noção de qualidade pode ser um conceito absoluto ou depender de padrões pré-definidos (HARVEY, 1993). O que é consensual sobre a qualidade do ensino superior é que ela é importante para diferentes atores: para os estudantes e suas famílias que querem receber o melhor ensino e outras práticas para a melhor formação possível; para o governo que quer financiar com o melhor custo/benefício e para a sociedade que, em última instância, é quem “consome” o conhecimento gerado/disseminado nas tecnologias, nos produtos e nos serviços de muitos profissionais. Portanto, iniciativas que comparam universidades se tornam relevantes na medida em que reduzem toda a complexidade que envolve o sistema de ensino, ofertando a estes públicos, uma ideia de qualidade percebida. Neste sentido, existem atualmente mais de 20 rankings universitários com periodicidade definida que avaliam as universidades de todo o mundo (GUHR, 2017). Esses sistemas de ranqueamento elencam indicadores e classificam as universidades e permitem que a sociedade os interprete com mais facilidade (PETERS 2019; SANTOS, 2018), embora muitas vezes de maneira enviesada (JOHNES, 2018), a qualidade das instituições.

A despeito das falhas conceituais e metodológicas que envolvem estas classificações (HOSIER; HOOLASH, 2019; PAVEL, 2015), rankings necessitam de dados sobre as mais diversas dimensões da vida universitária para elaborar suas classificações. Ao decidir aderir a um ranking e, portanto, ao criar mecanismos para obter, tratar, validar e divulgar dados, cada instituição pode então se autoavaliar. No caso das Instituições Federais de Ensino Superior (IFES) brasileiras, o governo também pode se beneficiar na medida em que se utiliza destes dados para avaliar novas estratégias para a distribuição de recursos públicos. Dessa forma, é possível que estas instituições coloquem seus instrumentos de gestão a serviço da qualidade, impulsionando entre outros: publicações de alto impacto, cooperações na pesquisa e a internacionalização, conexões com a sociedade e inovação (RIGHETTI, 2018).

A universidade é “uma instituição plural e complexa” (PLANETA, 2018). Como tanto o conhecimento acadêmico quanto os problemas reais da sociedade se transformam e evoluem, as IFES brasileiras se constituem como elemento permanentemente transformador da sociedade que as abriga e também evolui com elas e o seu impacto social é evidente. Constitucionalmente, ensino, pesquisa, extensão e inovação são termos indissociáveis nas IFES, e é esse arranjo que permite a formação de profissionais de excelência e que favorece o desenvolvimento da sociedade. A inovação se beneficia tanto da profundidade do conhecimento sistematizado disponível quanto da identificação de problemas reais da sociedade. Atividades de extensão nas IFES, são realizadas sob as formas de visitas, mostras, projetos, cursos, assessoramentos, prestação de serviços e/ou consultorias, entre outras. Todos poderiam ser avaliados e quantificados desde que houvesse a preocupação com definição e monitoramento de indicadores de cada uma destas atividades e fosse considerada a escala de tempo apropriada para sua aferição. Embora de fundamental importância atividades de extensão ainda não avaliadas por nenhuma base de dados e a construção de um dicionário de dados comum para IFES pode ser um marco nesse sentido.

Contudo, pouco tem sido feito para mensurar e divulgar o impacto econômico, social e cultural que as IFES promovem junto à sociedade. A falta de métricas específicas e a própria mensuração de impactos, é um enorme desafio. Somam-se a isso, as diferentes concepções (internas e externas) que se tem sobre a universidade e qual é o seu papel.

Indubitavelmente, o reconhecimento das IFES seria maior se elas dispusessem de um sistema transparente de accountability capaz de acompanhar, monitorar e divulgar os resultados do seu desempenho. Na prática, para que os dados possam ser utilizados na avaliação de desempenho, no aprimoramento da governança institucional e para se valorar como universidade de qualidade, as IFES precisam organizar e/ou criar Data Marts (SEGURADO; FERREIRA, 2019) institucionais em estruturas interoperacionais (data warehouses) que possibilitem a análise e a apresentação de dados por meio de ferramentas de Business Intelligence em diversas perspectivas e em diferentes recortes temporais. Essa infraestrutura de integração de dados deve ser capaz de transformar os dados em informações que possam ser sintetizadas em indicadores.

A proposta deste trabalho é discutir as bases conceituais para um sistema de gestão de dados unificado entre as IFES. Nesse sentido, sugere-se a criação dentro de cada IFES de uma estrutura de gestão capaz de assegurar e aprofundar o autoconhecimento institucional por meio do monitoramento de indicadores e divulgação de dados para subsidiar o diálogo permanente e necessário intra e, principalmente, extra muros semelhante àqueles já em operação em universidades paulistas(UNIVERSIDADE ESTADUAL DE CAMPINAS, 2013; UNIVERSIDADE DE SÃO PAULO, 2018; UNIVERSIDADE FEDERAL DE SÃO PAULO, 2019). Para tanto, faz-se uma discussão sobre dois aspectos fundamentais: (i) a importância da governança e (ii) os aspectos operacionais intrínsecos de uma unidade de gestão de dados em cada IFES. Em relação à governança, discute-se a missão e o papel dos atores envolvidos; e quanto à operacionalização, discute-se a definição de conceitos, os instrumentos de coleta e análise de dados, a criação de indicadores críticos e a difusão da informação.

2 A importância da governança

Avaliações educacionais têm sido consolidadas no país desde a década de 1990, sendo que em 2004, por força da Lei n°. 10.861, foi instituído o atual Sistema Nacional de Avaliação do Ensino Superior (SINAES) com a proposta de avaliar o desempenho dos alunos, a qualidade dos cursos e a qualidade das instituições do país. Todos os aspectos que envolvem a avaliação do ensino, da pesquisa, da extensão, da responsabilidade social, do desempenho dos estudantes, da gestão da instituição, do corpo docente e das instalações são considerados. Para tanto, uma série de instrumentos é utilizada para tornar possível a atribuição de conceitos para cada uma dessas dimensões, possibilitando um panorama da qualidade dos cursos e das instituições de educação superior no Brasil. Existe uma complexidade inerente aos princípios e técnicas de medição, classificação e auditoria do desempenho institucional dessa governança educacional decorrentes dos mecanismos de compliance, que é o alinhamento entre a legislação e a sua execução. Porém, em virtude do expressivo aumento dos números de matrículas e novos cursos de graduação no Brasil verificados na última década, tem sido observado uma pressão social por divulgação de resultados e mensuração de qualidade deste investimento. Nesse contexto, os rankings nacionais e internacionais tornaram-se populares simplesmente por serem de leitura mais fácil que os dados mostrados no SINAES. Colocado de uma outra forma, os rankings tornaram-se um estímulo à transparência e à melhoria nos padrões de ensino/pesquisa, impelindo todo o sistema universitário planetário a buscar novas e melhores formas de gestão (RANIERI, 2018). Essa perspectiva também coloca para a realidade do sistema universitário brasileiro a necessidade de ser transparente, principalmente porque existe uma grande assimetria entre o sistema público - responsável pela quase totalidade da pesquisa e por essa razão de custo aluno/ano alto - e o sistema privado com a maioria das matrículas de formação profissionalizante - com custo aluno/ano baixo. A principal razão da diferença não é a ineficiência de um sistema e a eficiência do outro, e sim o fato de se comparar coisas bastante distintas.

Dada a complexa dinâmica organizacional das IFES, a criação de um organismo de gestão de indicadores assegura o reconhecimento institucional da relevância do monitoramento do desempenho acadêmico como um componente essencial da gestão universitária. Tal ação também traria oportunidades para o aprimoramento da qualidade acadêmica contribuindo para o diálogo da Universidade com o poder público e a sociedade, em termos de transparência, ampliando canais de comunicação que viabilizem uma relação “mutuamente frutífera” e socialmente referenciada (SEGURADO; FERREIRA, 2019).

3 A necessidade de criação de uma unidade de inteligência de dados nas IFES

As IFES seguem um modelo baseado no construtivismo e na participação democrática para a criação de políticas e decisões no que se refere a governança universitária. As principais características deste modelo são baseadas na estrutura hierarquizada de autoridade e no controle e organização de atividades-meio e atividades-fim, com o intuito de alcançar os objetivos do Plano de Desenvolvimento Institucional (PDI). Todavia, as IFES apresentam estruturas organizacionais heterogêneas, onde as relações e dinâmicas de setores apresentam especificidades distintas em suas propostas institucionais.

Por meio das avaliações institucionais no contexto do SINAES, as universidades monitoram as alterações espaço-temporais de seus indicadores de desempenho e de tendências. Na situação em que seja possível uma interoperabilidade de dados, elas poderão realizar comparações com instituições que são referências regionais, nacionais e internacionais (benchmarks). O desenvolvimento desta sistemática de autoavaliação institucional recorrente, e em contexto comparativo, pode contribuir para o reconhecimento de estratégias-chaves na instituição que impactem objetivamente o desenvolvimento institucional.

No Brasil, independentemente do tamanho e da idade, todas as IFES possuem sistemas institucionais específicos para administrar diferentes atividades e serviços (i.e. ensino de graduação, pós-graduação, pesquisa, extensão, inovação, internacionalização, movimentações financeiras, projetos, intercâmbios, etc.). Ou seja, existem nas IFES recursos humanos capazes de, a partir de suas competências e interação com as várias áreas da Universidade, estabelecer um diagnóstico temporal da Instituição. Observa-se, no entanto, que os dados institucionais muitas vezes são gerados e armazenados em diferentes linguagens e formatos (e.g., textual, numérica) e em diferentes setores das instituições e, que o conjunto de conhecimentos e saberes a respeito desses dados estão difusos entre servidores com diferentes níveis de experiência na instituição. Para citar alguns exemplos concretos: todas as IFES brasileiras coletam e repassam dados acadêmicos ao Governo (CENSUP¹), dados sobre programas de Pós-Graduação são fornecidos periodicamente à CAPES (Plataformas SUCUPIRA², SCBA³) e dados sobre produção científica, técnica, artística e profissional de docentes e colaboradores são rotineiramente encaminhados à Plataforma Lattes⁴ e ao Diretório de Grupos de Pesquisa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)⁵. Dados financeiros, patrimoniais e sobre recursos humanos, também estão disponíveis em outros sistemas governamentais tais como SIAPE, SIMEC, SIAFI, etc.

A pulverização de fontes e formatos, a incompletude e a descontinuidade temporal e de falta de estruturação dos dados nos diferentes sistemas corporativos das IFES, limitam sua interoperabilidade e geram muito retrabalho sempre que é preciso realizar alguma avaliação (essa situação é bem visível quando da avaliação dos cursos de graduação pelas comissões do MEC). A gestão desses dados, tal como feita atualmente, dificulta o autoconhecimento, a geração de indicadores estratégicos para a gestão das instituições, bem como a prestação de contas para a sociedade do que as instituições têm realizado historicamente. Este cenário desafia a sistematização e circulação de informações que venham a subsidiar o acompanhamento e a tomada de decisões com base em evidência empírica compartilhada pela administração superior.

A constituição de uma unidade que promova a curadoria e processamento de dados estratégicos para estruturar uma visão panorâmica espaço-temporal da instituição, deve se fundar com base na autonomia e acesso ágil e simples de informações pela administração superior, de tal forma que decisões possam ser tomadas a partir de dados integrados e indicadores construídos com ajuda de agentes que acumulam experiência e saber intrínseco sobre as diferentes dimensões da vida universitária.

O funcionamento deste espaço de gestão deve se caracterizar pela proatividade e se articular em amplo diálogo com todos os setores da instituição. Sua implantação poderá se dar por meio da articulação propositada e projetada de pessoas de setores estratégicos, com a construção de uma nova rotina de sistematização de geração e validação de dados estratégicos interoperacionais.

Devido a heterogeneidade organizacional das IFES, recomenda-se que este órgão seja concebido com uma atuação “guarda-chuva” que enxergue a instituição como um todo e que tenha autoridade para demandar informações dos vários setores da universidade. Desta forma, baseado em experiências bem sucedidas de diversas instituições internacionais e mesmo nacionais (sistema paulista) recomenda-se que este órgão esteja diretamente subordinado à administração superior, e em formato de cogestão. Reiteramos que seja garantida sua autonomia para a gestão de dados, documentos e relatórios produzidos pelos vários setores da universidade que venham a contribuir para uma melhor compreensão e identificação de dados mais relevantes para a constituição de indicadores críticos para a avaliação de desempenho institucional.

4 A importância de recursos humanos e tecnológicos

A unidade de gestão de dados precisa contar com recursos humanos com competência técnica nas diversas áreas do conhecimento relacionadas com a ciência de dados para avaliar quais (e como) dados coletar para que sejam geradas informações precisas e exatas sobre o contexto da universidade. Esse time de profissionais, também precisa ser capaz de gerar estudos, relatórios e comunicados para diferentes entes dentro e fora da Universidade, sempre visando promover o desenvolvimento institucional e respeitando os princípios de uso responsável dos dados.

Para que a unidade de gestão de dados seja efetiva, ela deve ser concebida com garantia de suporte da área de tecnologia da informação (TI) das IFES. Essa área desempenha um papel fundamental na organização da infraestrutura para coleta, processamento, integração de sistemas de dados transacionais internos e externos, análise e visualização de dados estratégicos.

A unidade de gestão de dados também deve contar e/ou ter acesso a uma estrutura computacional capaz de viabilizar suas atividades. Portanto, deve haver disponibilidade de equipamentos e sistemas adequados tanto para a gestão de processos inerentes à unidade quanto para oferta de aplicações para outros entes dentro e fora das universidades.

A unidade de gestão de dados também precisa ter garantida a sustentabilidade orçamentária e financeira para ações que visem a coleta, análise e disseminação de dados em prol do reconhecimento das atividades desenvolvidas pela a universidade (VERGANI, 2019).

5 A operacionalização da unidade de dados

Para que as IFES possam ampliar e qualificar o uso de dados, indicadores e metas no seu planejamento estratégico, nas suas políticas institucionais e nas tomadas de decisão pela alta gestão bem como apresentar, de forma clara, transparente e acessível, os dados e indicadores de sua atuação à comunidade acadêmica, à sociedade, aos órgãos controladores e governos, como forma de prestar contas do recurso publico nela empregado e do alcance de metas pactuadas, entendemos que uma unidade de inteligência deveria focar rua atuação em algumas ações de escopo bem definido. Entre elas, podemos destacar:

1. garantir coleta e atualização periódica e automatizada de dados internos e externos, com o mínimo possível de interferência humana;

2. possuir glossários para unificar conceitos, sistematizar palavras chaves, e garantir a uniformização de informações;

3. desenvolver ferramentas para tratamento e unificação dos dados que respeitem as peculiaridades de sistemas e bases de dados pré-existentes de cada instituição;

4. identificar e criar indicadores críticos para atender demandas internas e externas;

5. garantir o armazenamento, gestão e difusão dos dados de forma centralizada e perene, observando a unicidade e o uso responsável dos dados.

Nas seções a seguir, será descrito como cada uma dessas ações poderiam ser abordadas considerando a expertise e informações já existentes na IFES e no ecossistema de ensino superior brasileiro.

5.1 Coleta e atualização periódica e automatizada de dados

Uma grande dificuldade enfrentada pelas IFES é a descentralização dos dados institucionais, muitas vezes espalhados pelos diversos centros, institutos ou faculdades. Além disso, muitas vezes a mesma informação aparece com valores distintos em diferentes páginas ou documentos institucionais. Isso se deve, principalmente, à natureza dinâmica dos dados institucionais tais como matrículas, conclusão de cursos, aprovação de projetos, ações de extensão, etc. Somente um sistema centralizado com acesso aos dados em tempo real permitiria obter um retrato fiel e atual dos dados no momento que eles são requisitados. Nesse sentido, é desejável que o dado primário entre no sistema por ação humana somente uma vez e que seja disponibilizado automaticamente para diferentes clientes, garantindo assim sua fidelidade e consistência. Atualmente, a mesma informação é digitada repetidamente em diversos sistemas, levando a erros naturais, que comprometem a qualidade dos dados. O ideal é que as informações já cadastradas em um banco de dados institucional sejam transferidas automaticamente entre diferentes sistemas através da seleção de variáveis e atributos de uma lista fornecida pelo sistema ou pelo uso de indexadores únicos.

5.2 Glossários e palavras chaves

A interoperabilidade de dados pressupõe a criação de uma infraestrutura computacional que seja capaz de integrar dados transacionais de uma ou de diferentes instituições de modo a disponibilizá-los de forma precisa e eficiente para permitir a criação de indicadores voltados para tomada de decisões estratégicas. É importante mencionar que já existem experiências nesse sentido. Uma delas é o Registro Europeu do Ensino Terciário (ETER) ⁶ criado para disponibilizar informações básicas sobre instituições de ensino superior de diferentes línguas e culturas dos 32 países da comunidade europeia. O ETER aglutina e fornece dados detalhados sobre mais de 2500 instituições de ensino superior e de 17 milhões de estudantes de bacharelado, mestrado e doutorado. Uma iniciativa parecida poderia ser imaginada no Brasil para o conjunto das 69 IFES se considerarmos a interoperabilidade como um princípio pelo qual os dados serão disponibilizados para análises em uma plataforma única. Isso demandará a formação de um consórcio no qual todas IFES concordam em coletar e apresentar os seus dados de acordo com um dicionário pré-determinado, com léxico que ultrapasse as barreiras de organização de dados de acordo com as necessidades internas de diferentes sistemas corporativos de gestão de atividades e serviços.

O dicionário de dados é um repositório que descreve, de forma estruturada, significado, origem, relacionamento e uso dos dados. Pode ser organizado na forma de documento de texto ou planilha centralizando informações sobre o conjunto de dados (dataset) sob análise. Seu propósito é melhorar a comunicação entre todos os entes envolvidos no projeto desde o levantamento dos dados até sua análise. O dicionário de dados serve como um ponto de partida, de comum acordo, objetivo e sem ambiguidades, a partir do qual é possível reconstruir o contexto em que a informação foi coletada, melhorando significativamente a qualidade das análises de dados construídas a partir dos dados coletados.

Um dicionário de dados abrangente e representativo sobre IFES deve considerar descritores institucionais básicos, informação geográfica, despesas, receitas, funcionários, graduação, pós-graduação, pesquisa, inovação, extensão, intercâmbios e internacionalização. Com o dicionário, pessoas e computadores podem trabalhar cooperativamente garantindo a inclusão, a recuperação e a validação eficaz de dados. Esse esforço é vital para possibilitar uma análise integrada e detalhada de indicadores comuns e não comuns às IFES envolvidas no processo de interoperabilidade de dados. No caso da IFES, a criação de dicionários pode se apoiar inicialmente em conceitos já estabelecidos em bases de dados consolidadas tais como: CENSUP (INEP), Sucupira (CAPES) e Plataforma Lattes (CNPq).

O Censo da Educação Superior (CENSUP) reúne informações coletadas anualmente sobre as IFES. Os dados são coletados a partir do preenchimento de questionários enviados às IFES que são posteriormente importados ao sistema de coleta de dados do MEC.⁷Esses dados são validados pelo INEP, em colaboração com os pesquisadores institucionais, e são periodicamente divulgados na forma de Sinopses Estatísticas⁸. O Léxico desse banco de dados permite relacionar informações sobre ensino (graduação e pós-graduação), docentes, funcionários, técnicos administrativos, matrículas, concluintes, vagas oferecidas, candidatos inscritos além de informação com sexo, cor/raça, idade, localização, cursos entre outras.

A avaliação do Sistema Nacional de Pós-Graduação, na forma como foi estabelecida a partir de 1998, é orientada pela Diretoria de Avaliação/CAPES e realizada com a participação da comunidade acadêmico-científica por meio de consultores ad hoc. A avaliação é atividade essencial para assegurar e manter a qualidade dos cursos de Mestrado e Doutorado no país. Para realizar essa avaliação a plataforma Sucupira da CAPES coleta informações que permitem análises e avaliações. Ou seja, a CAPES já tem uma longa tradição de avaliação e, portanto, já possui um dicionário de termos que são coletados junto aos programas de pós-graduação de diferentes instituições de ensino e pesquisa brasileiras. Através desses dados a CAPES gera diversos indicadores de desempenho que são bem aceitos pela comunidade acadêmica, mas que não são facilmente compreendidos pelo público em geral. Ou seja, embora bem sedimentada, a avaliação do Sistema Nacional de Pós-Graduação ainda precisa ser traduzida para o público em geral demonstrando para a sociedade o impacto desse sistema no desenvolvimento tecnológico e social do país (FERREIRA et al., 2015).

Atualmente, a Plataforma Lattes (CNPq) é a maior fonte de dados sobre produção científica, técnica e artística brasileira, contendo milhões de pesquisadores cadastrados. O processamento dos dados contidos nesta base permite (i) mapear a qualidade e abrangência da produção institucional (volume, áreas de destaque, etc), (ii) estimular a formação de grupos de trabalho e pesquisa a partir de identificação de afinidades (áreas, projetos, palavras chaves, etc.), e (iii) metrificar e comparar a produção por diferentes grupos de pesquisadores (contagem de diferentes tipos de produção). Embora seja um banco de dados não estruturado e de validação complexa, existem conceitos sedimentados na Plataforma Lattes e muitos deles fazem parte do léxico da comunidade científica brasileira.

5.3 Ferramentas para tratamento dos dados

Vários grupos de pesquisa instalados nas IFES se destacam na produção de conhecimento e desenvolvimento de sistemas baseados em ciência de dados. É imprescindível que a ciência de dados feita nas universidades como atividade de pesquisa e desenvolvimento seja utilizada na própria gestão dos dados utilizando sistemas computacionais robustos para compreender e extrair informações qualificadas e estratégicas do grande volume de dados gerados de diversas formas, desde os indicadores numéricos de gestão orçamentária e de pessoas até a formação de pessoas e dados de pesquisa e inovação. Uma possibilidade para colocar em prática essa ação poderia ser executada por meio de uma chamada nacional de proposta com o financiamento dessa atividade para desenvolvimento de um sistema versátil, com um core comum e uma parte customizável para cada instituição.

5.4 Indicadores Críticos

Desde 2002, todas as IFES estão obrigadas a incluir uma série de indicadores previstos na Decisão Plenária 408/2002 do Tribunal de Contas da União -TCU (ORIENTAÇÕES PARA O CÁLCULO DOS INDICADORES DE GESTÃO, 2004) em seus relatórios anuais de gestão. Esses indicadores incluem custos, número de alunos, professores e funcionários, qualificação, conceitos de cursos de graduação e pós-graduação, dentre outros. Além disso, o portal da transparência⁹ apresenta dados detalhados de execução orçamentária e financeira, servidores, licitações, convênios, gastos, etc. Todas essas informações deveriam estar unificadas e espelhadas nas próprias instituições, em um formato que permitisse extrair dados de forma a atender com maior eficiência e rapidez as demandas internas e externas que surgem, como por exemplo no caso dos rankings. Além desses indicadores obrigatórios, outros indicadores críticos poderiam ser adicionados, como aqueles ligados à pesquisa, extensão e internacionalização, como número de citações de artigos, número de pessoas beneficiadas por projetos de extensão ou número de alunos estrangeiros, por exemplo. Alguns desses indicadores seriam comuns a todas as IFES enquanto outros podem ser importantes para algumas instituições, mas talvez não sejam aplicáveis ou relevantes a outras.

5.5 Gestão de Difusão dos dados

As IFES têm um conjunto enorme de dados que são de interesse da sociedade. É estratégico que os mesmos sejam divulgados e organizados nas dimensões que revelam de forma apropriada as positividades do sistema ao mesmo tempo que as fragilidades também serão expostas. Organizados de forma contextualizada, as dimensões positivas são bem maiores que as negativas, entretanto, se as instituições não se anteciparem nessa divulgação, corre-se o risco de que agentes externos foquem na divulgação de informações descontextualizadas, amplificando os pontos negativos, o que além de não ser justo, causaria um prejuízo enorme para a imagem das instituições junto à sociedade.

As instituições precisam encarar de forma profissional a divulgação dos seus dados e que essa seja acessível às pessoas. É preciso um esforço muito além dos anuários que agregam um grande volume de informações que servem para responder às exigências legais e pouco servem para construir na sociedade a real compreensão do papel das instituições. Essa tarefa de difusão dos dados demanda as expertises técnicas que a universidade tem nos seus quadros de pesquisadores e técnicos para o desenvolvimento de interfaces amigáveis e que usam algoritmos de ciência dos dados para apresentar informações quantitativas por meio dos indicadores de desempenho.

6 Considerações finais

As IFES já coletam, armazenam e fornecem dados institucionais sistematizados a diversos órgãos de controle e fomento. No entanto, a pulverização de fontes e formatos, a incompletude e a descontinuidade temporal e a falta de estruturação dos dados nos diferentes sistemas limitam sua interoperabilidade. A constituição de uma unidade que promova a curadoria e processamento de dados estratégicos com base na autonomia e acesso ágil e simples de informações pela administração superior é, portanto, fundamental. Essa unidade deve atuar na instituição como um todo, com autoridade e autonomia para obtenção e gestão de dados e sua operacionalização depende de um conjunto de premissas básicas que devem ser observadas. A comunicação eficiente de informações confiáveis, embasadas em dados sólidos e transparentes é fundamental para a imagem das universidades públicas brasileiras, que têm a obrigação de prestar contas à sociedade que as financia. Se as instituições não se anteciparem para materializar essa ação estratégica, farão mais cedo ou mais tarde, seja por pressão de setores da sociedade organizada e/ou demandas dos órgãos de controle e outros poderes constituídos.

Referências

• FERREIRA, J. E.; FRANCO, B. D. G. M.; CATARINO, M. H; TAKECIAN, P. L.; AGOPYAN, V. DataUSP-PosGrad: um conjunto de serviços analíticos para apoio à tomada de decisão da PRPG da USP. In: USP 80 anos. 2015.
• GUHR, D. J. How Everyone in BC is Being Ranked, 20 jun. 2017. Disponível em: http://bccie.bc.ca/wp-content/uploads/2017/06/icg-bc- rankings-session-final-17-06-20.pdf Acesso em: 25 ago. 2020
  » http://bccie.bc.ca/wp-content/uploads/2017/06/icg-bc- rankings-session-final-17-06-20.pdf
• HARVEY, L.; GREEN, D. Defining Quality. Assessment & Evaluation in Higher Education, v. 18, n. 1, p. 9-34, 1993.
• HOSIER, M.; HOOLASH, B. K. A. The effect of methodological variations on university rankings and associated decision-making and policy. Studies in Higher Education, v. 44, n. 1, p. 201-214, 2 jan. 2019.
• JOHNES, J. University rankings: What do they really show? Scientometrics, v. 115, n. 1, p. 585-606, abr. 2018.
• KRAUSE, Kerri-Lee. Addressing the wicked problem of quality in higher education: theoretical approaches and implications. Higher Education Research & Development, v. 31, n. 3, p. 285-297, 2012.
• ORIENTAÇÕES para o cálculo dos indicadores de gestão . Decisão TCU n^o 408/2002-plenário. Versão revisada em março de 2004. Tribunal de Contas da União - TCU, Secretaria de Educação Superior SESu/MEC, Secretaria Federal de Controle Interno - SFC- Dispoível em: http://portal.mec.gov.br/setec/arquivos/pdf/indicadores.pdf Acesso em: 13 mar. 2021.
  » http://portal.mec.gov.br/setec/arquivos/pdf/indicadores.pdf
• PAVEL, A.-P. Global University rankings - A Comparative Analysis. Procedia Economics and Finance, 4th World Conference on Business, Economics and Management (WCBEM-2015). v. 26, p. 54-63, 1 jan. 2015.
• PETERS, M. A. Global university rankings: Metrics, performance, governance. Educational Philosophy and Theory, v. 51, n. 1, p. 5-13, 2 jan. 2019.
• PLANETA, C. et al. Impacto Social das Universidades. In: MARCOVITCH, Jacques. (Org.). Repensar a universidade II: resultados e impactos. São Paulo: Com-Arte; Fapesp, 2019, p.198.
• RANIERI, N. Universidades e rankings globais: tensões jurídicas. In: MARCOVITCH, Jacques. (Ed.) Repensar a universidade I: desempenho acadêmico e comparações internacionais. São Paulo: Com-Arte; Fapesp, 2018.
• RIGHETTI, S. Avaliar para Comparar: Os Rankings Britânico e Chinês no Ensino Superior Global. In: MARCOVITCH, Jacques. (Ed.) Repensar a universidade I: desempenho acadêmico e comparações internacionais. São Paulo: Com-Arte; Fapesp, 2018.
• SANTOS, S. M. Rankings Internacionais de Universidades: Comparação e Desempenho por Áreas. In: MARCOVITCH, Jacques (ed.). Repensar a universidade I: desempenho acadêmico e comparações internacionais. São Paulo: Com-Arte; Fapesp, 2018.
• SEGURADO, A.; FERREIRA, J. E. Interoperabilidade de Dados, Desempenho Acadêmico e Impacto Social: USP no Horizonte 2022. In: MARCOVITCH, Jacques. (Ed.) Repensar a Universidade II: impactos para a sociedade. São Paulo: Com-Arte; Fapesp, 2019.
• VERGANI,C. E. Planejamento Estratégico e Sustentabilidade: Unesp no Horizonte 2022. In: MARCOVITCH, Jacques (Ed.). Repensar a Universidade II: impactos para a sociedade. Universidade de São Paulo: Com-Arte; Fapesp, 2019.
• UNIVERSIDADE DE SÃO PAULO (USP). Portaria GR nº 7256, de 29 de junho de 2018. Dispõe sobre a criação do Escritório de Gestão de Indicadores de Desempenho Acadêmico (EGIDA). Disponível em: http://www.leginf.usp.br/?portaria=portaria-gr-no-7256-de-29-de-junho-de-2018 Acesso: 10 mar. 2021.
  » http://www.leginf.usp.br/?portaria=portaria-gr-no-7256-de-29-de-junho-de-2018
• UNIVERSIDADE ESTADUAL DE CAMPINAS (UNICAMP). Portaria GR-124/2013, de 29 de novembro de 2013. Constituí Grupo Gestor de Dados Gerenciais da UNICAMP responsável por organizar e disponibilizar o banco de dados gerenciais da Universidade aqui denominado S-Integra da UNIVERSIDADE DE CAMPINAS (UNICAMP). Publicada no D.O.E. em 05/12/2013, pág 93. Disponível em: https://www.pg.unicamp.br/mostra_norma.php?id_norma=3501 Acesso: 12 mar. 2021
  » https://www.pg.unicamp.br/mostra_norma.php?id_norma=3501
• UNIVERSIDADE FEDERAL DE SÃO PAULO (UNIFESP). Conselho Universitário. Resolução n. 178, de 13 de novembro de 2019. Dispõe sobre a Política de Gestão de Dados Estratégicos Institucionais da Universidade Federal de São Paulo (Unifesp). São Paulo: CONSU, 2019. Disponível em: https://www.unifesp.br/images/docs/consu/resolucoes/2019/Resolu%C3%A7%C3%A3o_178_Pol%C3%ADtica_de_Dados_Estrategicos_publicar.pdf Acesso: 10 mar. 2021.
  » https://www.unifesp.br/images/docs/consu/resolucoes/2019/Resolu%C3%A7%C3%A3o_178_Pol%C3%ADtica_de_Dados_Estrategicos_publicar.pdf

• 1
  http://portal.inep.gov.br/censo-da-educacao-superior
• 2
  https://sucupira.capes.gov.br/sucupira/
• 3
  https://scba.capes.gov.br
• 4
  http://lattes.cnpq.br/
• 5
  http://lattes.cnpq.br/web/dgp
• 6
  https://www.eter-project.com/
• 7
  http://portal.mec.gov.br/e-mec-sp-257584288
• 8
  http://portal.inep.gov.br/web/guest/sinopses-estatisticas
• 9
  http://www.portaltransparencia.gov.br

Datas de Publicação

• Publicação nesta coleção
  21 Maio 2021
• Data do Fascículo
  Jan-Mar 2021

Histórico

• Recebido
  13 Mar 2021
• Aceito
  22 Mar 2021