Acessibilidade / Reportar erro

Avaliação de desempenho de cursos de graduação ofertados na modalidade de Educação a Distância

Performance evaluation of undergraduate courses offered in distance education mode

Resumos

Este estudo tem como objetivo analisar as oportunidades de pesquisa referentes à avaliação de desempenho de cursos de graduação ofertados na modalidade de educação a distância, por meio das publicações que compõem o portfólio bibliográfico de artigos mais citados pela comunidade científica. O instrumento selecionado para o alcance desse objetivo foi o Knowledge Development Process-Constructivist (ProKnow-C), por apresentar um processo estruturado e completo para a seleção e análise da literatura. Foram identificadas na literatura, no período de 2000 a 2017, 21 publicações que representam o fragmento da literatura de interesse, o que possibilitou a realização de uma análise sistêmica. Além de constatar que essa área do conhecimento se configura como um campo a ser explorado, foi possível registrar proposições para futuras investigações. Pesquisadores e gestores devem participar das etapas de desenvolvimento dos modelos de avaliação de desempenho, como na definição dos objetivos a serem mensurados, na hierarquização dos indicadores de avaliação e na aplicação de ações de aperfeiçoamento do contexto sob análise.

Palavras-chave:
Avaliação de desempenho; Ensino superior; Educação a Distância


This study aims to analyze how research opportunities related to the Evaluation of Performance of Undergraduate Courses Offered in the Distance Education, through the publications that make up the bibliographic catalog of articles more cited by the scientific community. The Process Knowledge Development-Constructivist (ProKnow-C), for presenting a structured and complete process for the selection and analysis of the literature. Twenty one publications representing the fragment of the literature of interest were identified in the literature, from 2000 to 2017, which enabled a systemic analysis. In addition to finding that the knowledge area configured as a field to be explored, it was possible to register propositions for future investigations. Researchers and managers should be involved in the development stages of performance evaluation models, as the definition of objectives to be measured, the hierarchy of evaluation indicators and the application of actions to improve the context.

Keywords:
Performance evaluation; Higher education; Distance education


1 Introdução

Nas instituições de ensino superior são crescentes a procura e a oferta de cursos modalidade de Educação a Distância (EaD), fazendo com que os decisores busquem constante aperfeiçoamento nas formas de gestão, com vistas ao alcance e manutenção de um bom desempenho. Algumas lacunas relacionadas à avaliação de cursos ofertados na modalidade EaD foram identificadas na literatura científica publicada entre os anos de 2012 a 2017, tais como: pesquisas são necessárias para determinar se há relação entre as notas obtidas no curso e a aplicação do que foi aprendido, na prática (LAVENDER et al., 2013LAVENDER, Dame Tina et al. A pilot quasi-experimental study to determine the feasibility of implementing a partographe-learning tool for student midwife training in Nairobi. Midwifery, United States, v. 29, n. 8, p. 876-884, 2013. ; PULSFORD et al., 2013PULSFORD, David et al. Classroom-based and distance learning education and training courses in end-of-life care for health and social care staff: A systematic review. Palliative Medicine, United States, v. 27, n. 3, p. 221-235, 2013.); uma das limitações do estudo de Kim, Lee e Skellenger (2012KIM, DaeShik; LEE, Helen; SKELLENGER, Annette. Comparison of levels of satisfaction with distance education and on-campus programs. Journal of Visual Impairment & Blindness, United States, v. 106, n. 5, p. 275, 2012.) está relacionada ao uso de um instrumento de avaliação não validado; alguns autores recomendam a inclusão de variáveis que podem estar relacionadas ao grau de satisfação dos estudantes com seus programas; oportunidades para futuras pesquisas incluem a sustentabilidade do efeito da aprendizagem em cursos EaD (ILOTT et al., 2014ILOTT, Irene et al. Evaluating a novel approach to enhancing dysphagia management: workplace based, blended e learning. Journal of Clinical Nursing, United Kingdom, v. 23, n. 9-10, p. 1354-1364, 2014.); estudos futuros poderão avaliar o impacto do curso, em longo prazo, na retenção de conhecimento e na mudança de práticas profissionais (WANG et al., 2016WANG, Jing et al. Evaluation of the first open-access hepatitis B and safe injection on-line training course for health professionals in China. BMC Medical Education, United Kingdom, v. 16, n. 1, p. 81, 2016.).

A avaliação constante da qualidade e da efetividade das ações educacionais ofertadas na modalidade EaD e, em muitos casos, para um grande número de pessoas, é fundamental para garantir que os objetivos inicialmente propostos sejam alcançados (ZERBINI; ABBAD, 2005)ZERBINI, Thais; ABBAD, Gardenia. Impacto de treinamento no trabalho via internet. RAE Eletrônica, São Paulo, v. 4, n. 2, 2005. . Assim, com o desenvolvimento das tecnologias e o número cada vez maior de cursos de graduação ofertados nessa modalidade, são necessárias novas formas de avaliação que possibilitem o estudo da efetividade desses cursos. A avaliação de desempenho, além de ser um instrumento de gestão, possui um importante efeito no sentido de identificar em que medida o curso está sendo efetivo, seja em relação ao desenvolvimento da aprendizagem, de habilidades, de atitudes e de motivação, e até mesmo em relação aos impactos sociais da formação.

Nesse contexto, a medição/mensuração e a gestão de desempenho caracterizam-se como fenômenos sociais, onde o comportamento é moldado pelos sentimentos, valores e crenças básicas dos indivíduos, da organização, da comunidade e da sociedade (ENSSLIN et al., 2010ENSSLIN, Leonardo et al. Avaliação de desempenho de empresas terceirizadas com o uso da metodologia Multicritério de Apoio à Decisão-Construtivista. Pesquisa Operacional, Rio de Janeiro, v, 30, n. 1, p. 125-152, 2010. ; BITITCI et al., 2012BITITCI, Umiti et al. Performance measurement: challenges for tomorrow. International Journal of Management Reviews, United Kingdom, v. 14, n. 3, p. 305-327, 2012.; SMITH; BITITCI, 2017SMITH, Marisa; BITITCI, Umit. Interplay between performance measurement and management, employee engagement and performance. International Journal of Operations & Production Management, United Kingdom, v. 37, n. 9, p. 1207-1228, 2017.). A medição e a gestão de desempenho são reconhecidas como fundamentais para qualquer organização, pois informam o nível atual de desempenho e comparam com o nível desejado. A utilização de sistemas de medição e de gestão de desempenho é recomendada para facilitar a implementação da estratégia e melhorar o desempenho organizacional (MELNYK et al., 2014MELNYK, Steven A. et al. Is performance measurement and management fit for the future? Management Accounting Research, United States, v. 25, n. 2, p. 173-186, 2014.). Assim, este estudo está orientado para o desempenho sob a perspectiva dos cursos e/ou das próprias organizações/instituições ofertantes, haja vista que no caso da modalidade EaD a avaliação de desempenho poderia transpassar três grandes dimensões: institucional, dos alunos e da sociedade.

Considerando que os trabalhos existentes acerca da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD encontram-se disponíveis em diferentes veículos de comunicação e com diferentes enfoques, e que esta pesquisa encontra-se alinhada à avaliação de desempenho como auxílio à gestão institucional, a pergunta que orienta a investigação é: Quais são as proposições para futuras investigações relacionadas à avaliação de desempenho de cursos de graduação ofertados na modalidade de educação a distância?

Para responder a esse questionamento, o objetivo deste estudo é analisar as oportunidades de pesquisa por meio das publicações que compõem o Portfólio Bibliográfico (PB) de artigos mais citados pela comunidade científica, referente à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD. Com o intuito de alcançar o objetivo proposto, foram contemplados os seguintes objetivos específicos: (i) seleção e filtragem do PB alinhado ao tema da pesquisa; e (ii) análise sistêmica dos artigos que compõem o PB.

2 Avaliação de desempenho na educação a distância

Historicamente, com os avanços tecnológicos do fim do século XIX e início do século XX, diversas iniciativas de desenvolvimento da EaD foram se configurando na Europa, África e América, com destaque para países como Suécia, Inglaterra, França, Canadá, Estados Unidos e Brasil, considerados como importantes impulsionadores da modalidade (MUGNOL, 2009MUGNOL, Marcio. A educação a distância no Brasil: conceitos e fundamentos. Revista Diálogo Educacional, Paraná, v. 9, n. 27, 2009.). A criação da Universidade Aberta de Londres, em 1970, foi um dos marcos históricos que contribuiu para o desenvolvimento de métodos e técnicas que serviram para caracterizar os diferentes modelos de EaD existentes, além de contribuir para a evolução das tecnologias que deram mais solidez aos processos educacionais a distância. Outras iniciativas de projetos formais de EaD também marcaram o início da utilização dessa modalidade, como a Universidade Nacional de Educação a Distância (UNED), criada em 1972, em Madri, considerada uma das instituições de maior sucesso e que inspirou outros países (MUGNOL, 2009).

Com o desenvolvimento da EaD, alguns pesquisadores passaram a demonstrar seu interesse em conceituá-la e identificar suas características. Dentre esses estudiosos, Desmond Keegan (2013KEEGAN, Desmond. Fundations of distance education. London: Routledge, 2013.) apresentou alguns aspectos desses processos educacionais, como a distância física entre professores e estudantes, o uso da mídia para interligar professores e estudantes, a comunicação bidirecional e os estudantes vistos como indivíduos e não como grupos de alunos. Assim como Keegan (2013), outros autores clássicos na área da EaD também apresentaram as características básicas dessa modalidade, tais como: distância física entre os participantes; utilização de um processo de ensino e aprendizagem intermediado por tecnologias; aprendizado planejado; e possibilidade de maior autonomia por parte dos estudantes (BELLONI, 2001BELLONI, Maria Luiza. Educação a distância. Campinas: Autores Associados, 2001.; PETERS, 2001PETERS, Otto. Didática do ensino a distância: experiências e estágios da discussão numa visão internacional. Rio Grande do Sul: Unisinos, 2001.). Além disso, geralmente é utilizado um ambiente virtual de ensino e aprendizagem para disseminação do conteúdo e interação entre os participantes, e o computador e a internet têm sido utilizados massivamente como possibilidade de acesso e inclusão (GARCIA; CARVALHO JUNIOR, 2015GARCIA, Vera L.; CARVALHO JUNIOR, Paulo Marcondes. Educação à distância (EAD), conceitos e reflexões. Medicina (Ribeirão Preto), Ribeirão Preto, v. 48, n. 3, p. 209-213, 2015.). A ênfase na aprendizagem centrada no estudante, a flexibilidade de tempo e espaço, a interação e a inclusão digital são apontadas como características e também como potencialidades da modalidade, devendo-se levar em conta que a educação é o fator primordial da EaD (VENDRUSCOLO; BEHAR, 2016VENDRUSCOLO, Maria Ivanice; BEHAR, Patrícia Alejandra. Investigando modelos pedagógicos para educação a distância: desafios e aspectos emergentes. Educação, Porto Alegre, v. 39, n. 3, 2016.).

A legislação brasileira apresenta uma definição para a modalidade EaD, como sendo aquela na qual a mediação didático-pedagógica nos processos de ensino e aprendizagem ocorre com a utilização de meios e Tecnologias de Informação e Comunicação (TIC), além de desenvolver atividades educativas por estudantes e profissionais da educação que estejam em lugares e tempos diversos (BRASIL, 2017BRASIL. Constituição da República Federativa do Brasil de 1988. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm . 1988Acesso em: 21 mar. 2017.
http://www.planalto.gov.br/ccivil_03/con...
). Recorrendo ao estudo de Moore e Kearsley (2011, p. 2MOORE, Michael G.; KEARSLEY, Greg. Distance education: a systems view of online learning. United States: Cengage Learning, 2011.):

a educação a distância é o aprendizado planejado que ocorre normalmente em um lugar diferente do local de ensino, exigindo técnicas especiais de criação do curso e de instrução, comunicação por meio de várias tecnologias e disposições organizacionais especiais.

Destacam-se, dentre as características da EaD, os conceitos de autonomia e independência, mencionados por Keegan (2013), cujo fundamento é a aprendizagem, a qual remete à criação de oportunidades para que ela possa acontecer. Essas oportunidades de aprendizagem necessitam da criação de meios para que possam efetivamente ocorrer, como o comprometimento e a responsabilidade dos estudantes, as orientações e apoio dos professores mediadores, a utilização compartilhada de métodos e meios de transmissão das informações e o respeito às diferenças individuais de cada estudante (MUGNOL, 2009).

No que se refere à avaliação de desempenho de cursos ofertados na modalidade EaD, é importante evidenciar as características dos Sistemas de Avaliação de Desempenho (SADs) composto pelos subsistemas de mensuração/medição e de gestão de desempenho. Para Globerson (1985GLOBERSON, Shlomo. Issues in developing a performance criteria system for an organization. International Journal of Production Research, United Kingdom, v. 23, n. 4, p. 639-646, 1985.), um sistema de medição de desempenho deve incluir um conjunto de critérios mensuráveis bem definidos; padrões de desempenho para cada critério; rotinas para medir cada critério; procedimentos para comparar o desempenho real com as normas; e procedimentos para lidar com as discrepâncias entre o desempenho real e o desejado. Já na percepção de Neely (1999NEELY, Andy. The measure performance revolution. Why now and what next? International Journal of Operations & Production Management, United Kingdom, v. 16, n. 2, p. 205-228, 1999.), um sistema de medição de desempenho abrange o processo para definir objetivos e para coletar, analisar e interpretar dados de desempenho, com o intuito de avaliar a eficácia e eficiência da ação (NEELY; GREGORY; PLATTS, 1995NEELY, Andy; GREGORY, Mike; PLATTS, Ken. Performance measurement system design - A literature review and research agenda. International Journal of Operations & Production Management, United Kingdom, v. 15, n. 4, p. 80-116, 1995.; NEELY, 1999). Um sistema de gestão de desempenho, por sua vez, engloba o processo de avaliar as diferenças entre os resultados reais e desejados, identificar e sinalizar as diferenças críticas, compreender os motivos das possíveis deficiências ocorridas e, quando necessário, introduzir e acompanhar ações corretivas (MELNYK et al., 2014).

Dentre os estudos científicos publicados a partir de 2010 pela comunidade científica, relacionados à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, destacam-se alguns estudos. O trabalho de Arbaugh (2002ARBAUGH, J. Ben. Managing the on-line classroom: a study of technological and behavioral characteristics of web-based MBA courses. The Journal of High Technology Management Research, United Kingdom, v. 13, n. 2, p. 203-223, 2002.) concluiu que as características comportamentais são os preditores mais fortes de aprendizagem e satisfação dos estudantes. Alstete e Beutell (2004ALSTETE, Jeffrey W.; BEUTELL, Nicholas J. Performance indicators in on-line distance learning courses: a study of management education. Quality Assurance in Education, United Kingdom, v. 12, n. 1, p. 6-14, 2004.) concluíram que sexo e idade estão relacionados de forma diferente com o desempenho de estudantes de graduação e pós-graduação em cursos ofertados nessa modalidade, e que alguns fatores são críticos para os professores e gestores dos cursos, como a participação dos estudantes nos fóruns de discussão. Ao analisar os fatores que influenciam na satisfação dos estudantes em cursos a distância, Sun et al. (2008SUN, Pei-Chen et al. What drives a successful e-Learning? An empirical investigation of the critical factors influencing learner satisfaction. Computers & Education, United Kingdom, v. 50, n. 4, p. 1183-1202, 2008.) concluíram que a ansiedade do estudante ao computador, a atitude do instrutor ao direcionar a aprendizagem, a flexibilidade, a qualidade do curso, a utilidade percebida, a facilidade de uso e a diversidade nas avaliações são os fatores críticos que afetam essa satisfação. Ozkan e Koseler (2009OZKAN, Sevgi; KOSELER, Refika. Multi-dimensional students’ evaluation of e-learning systems in the higher education context: An empirical investigation. Computers & Education, United Kingdom, v. 53, n. 4, p. 1285-1296, 2009.), ao avaliarem sistemas de aprendizado a distância, chegaram à conclusão de que seis dimensões do modelo proposto possuem efeito significativo sobre a satisfação dos estudantes: a qualidade do sistema, a qualidade do serviço, a qualidade do conteúdo, a perspectiva do aluno, as atitudes do instrutor e aspectos de suporte. Corlett et al. (2005CORLETT, Dan et al. Evaluation of a mobile learning organiser for university students. Journal of Computer Assisted Learning, United Kingdom, v. 21, n. 3, p. 162-170, 2005.), ao avaliarem um aplicativo móvel utilizado em cursos a distância, identificaram uma demanda por apoio institucional relacionado ao aplicativo de aprendizado móvel, especialmente para fornecer o conteúdo do curso e informações sobre horários. McConatha, Praul e Lynch (2008MCCONATHA, Douglas; PRAUL, Matt; LYNCH, Michael J. Mobile learning in higher education: an empirical assessment of a new educational tool. On-line Submission, India, v. 7, n. 3, 2008.) também avaliaram um aplicativo de aprendizado móvel e concluíram que seu uso pode apresentar diferença positiva e significativa nos resultados de desempenho dos estudantes que utilizam os aplicativos. Segundo Holsapple e Lee-Post (2006HOLSAPPLE, Clyde W.; LEE‐POST, Anita. Defining, assessing, and promoting e‐learning success: an information systems perspective. Decision sciences journal of innovative education, United Kingdom, v. 4, n. 1, p. 67-85, 2006.), um fator crítico de sucesso em cursos ofertados na modalidade EaD é a disponibilidade dos estudantes. Além disso, é necessário equilíbrio na promoção de cursos a distância como meio para entregar melhorias reais em educação de qualidade, e não como meio de automatizar a educação (HOLSAPPLE; LEE-POST, 2006).

Quanto ao Brasil, o documento Referenciais de Qualidade para Educação Superior a Distância (MEC, 2007BRASIL. MEC. Referenciais de Qualidade para EaD. Documento de 2007. Disponível em:Disponível em:http://portal.mec.gov.br/par/193-secretarias-112877938/seed-educacao-a-distancia-96734370/12777-referenciais-de-qualidade-para-ead . Acesso em: 10 maio 2018.
http://portal.mec.gov.br/par/193-secreta...
) possui caráter norteador para subsidiar atos legais do poder público em relação a processos de regulação, supervisão e avaliação em EaD. Apesar de não possuir força de lei, é complementar às determinações específicas da Lei de Diretrizes e Bases da Educação. Esse documento aponta para a complexidade e necessidade de uma abordagem sistêmica para avaliação de cursos ofertados na modalidade EaD, destacando fundamentalmente aspectos pedagógicos, de recursos humanos e de infraestrutura.

Atualmente, no Brasil, como forma de avaliação de desempenho do ensino superior (presencial e a distância), há o Exame Nacional de Desempenho dos Estudantes (ENADEBRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Enade. 2017Disponível em: Disponível em: http://portal.inep.gov.br/enade . Acesso em: 10 maio 2018.
http://portal.inep.gov.br/enade...
) aplicado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Esse exame avalia o rendimento dos concluintes de graduação em relação aos conteúdos programáticos dos currículos dos cursos, ao desenvolvimento de competências/habilidades necessárias para aprofundamento da formação e ao nível de atualização em relação à realidade brasileira e mundial (BRASIL, 2018BRASIL. MEC. Referenciais de Qualidade para EaD. Documento de 2007. Disponível em:Disponível em:http://portal.mec.gov.br/par/193-secretarias-112877938/seed-educacao-a-distancia-96734370/12777-referenciais-de-qualidade-para-ead . Acesso em: 10 maio 2018.
http://portal.mec.gov.br/par/193-secreta...
). Ressalta-se, entretanto, que esse exame é uma forma de avaliação externa da instituição e que há a necessidade da implementação de Sistemas de Avaliação de Desempenho internos, em que objetivos sejam definidos, resultados analisados, pontos críticos levantados e medidas corretivas implementadas quando necessário para melhorar o desempenho organizacional, o que impactará diretamente na avaliação externa (NEELY; GREGORY; PLATTS, 1995; NEELY, 1999; MELNYK et al., 2014).

3 Metodologia

O estudo possui dois critérios de delimitação: (i) foram contempladas seis bases de dados na etapa de seleção do portfólio bibliográfico (PB); e (ii) os artigos científicos selecionados foram publicados a partir do ano 2000. O recorte temporal definido a partir do ano 2000 justifica-se pela escassez de estudos publicados nos últimos cinco anos (2013-2017) alinhados ao tema da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD.

Os pesquisadores selecionaram um instrumento que orientasse à seleção do PB e à análise sistêmica da literatura, culminando na apresentação de proposições para novas investigações (VALMORBIDA et al., 2011VALMORBIDA, Sandra Mara Iesbik et al. Gestão Pública com foco em resultados: evidenciação de oportunidades de pesquisa. CAP Accounting and Management, Toledo, v. 5, n. 5, p. 126-136, 2011.; ENSSLIN; ENSSLIN; PINTO, 2013ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; PINTO, Hugo de Moraes. Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC-Revista de Administração Contemporânea, Maringá, v. 17, n. 3, 2013.; THIEL; ENSSLIN; ENSSLIN, 2017THIEL, Gustavo Guilherme; ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo. Street lighting management and performance evaluation: opportunities and challenges. LEX Localis - Journal Of Local Self-Government, Slovenia, v. 15, n. 2, p. 303-328, 2017. ; VALMORBIDA; ENSSLIN, 2016VALMORBIDA, Sandra Mara Iesbik; ENSSLIN, Leonardo. Construção de conhecimento sobre avaliação de desempenho para gestão organizacional: uma investigação nas pesquisas científicas internacionais. Revista Contemporânea de Contabilidade, Florianópolis, v. 13, n. 28, p. 123-148, 2016. ). Este instrumento é o processo estruturado de revisão bibliográfica denominado Knowledge Development Process-Constructivist (ProKnow-C) desenvolvido pelo Laboratório de Metodologia Multicritério de Apoio à Decisão - Construtivista (LabMCDA-C), vinculado ao Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina (UFSC), sob a coordenação do Professor Leonardo Ensslin.

A primeira etapa do ProKnow-C tem o objetivo de identificar as publicações científicas relativas ao tema definido pelos pesquisadores. Três subetapas compõem esta etapa: (i) seleção do banco de artigos bruto; (ii) filtragem do banco de artigos; e (iii) realização do teste de representatividade do PB (ENSSLIN et al., 2014ENSSLIN, Sandra R. et al. Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária. Revista de Economia e Sociologia Rural (Impresso), Brasília, v. 52, n. 3, p. 587-608, 2014.; LACERDA, ENSSLIN, ENSSLIN, 2012LACERDA, Rogério Tadeu de Oliveira; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, São Carlos, v. 19, n. 1, 2012. ; THIEL, ENSSLIN; ENSSLIN, 2017).

A segunda etapa, referente à análise sistêmica, contempla

o processo científico utilizado para, a partir de uma visão de mundo (afiliação teórica) definida e explicitada por suas lentes [termo adotado neste estudo e proposto Hammond e Stewart (2001HAMMOND, Kenneth R.; STEWART, Thomas R. The essential Brunswik: Beginnings, explications, applications. Oxford: Oxford University Press, 2001.) para representar as propriedades da afiliação teórica que serão averiguadas pelo pesquisador ao analisar os dados], analisar uma amostra de artigos representativa de um dado assunto de pesquisa, visando evidenciar para cada lente e globalmente, para a perspectiva estabelecida, os destaques e as oportunidades (lacunas) de conhecimento encontrados na amostra (VALMORBIDA et al., 2011, p. 129).

Desse modo, adotou-se a afiliação teórica de avaliação de desempenho como um

processo para construir conhecimento no decisor, (1) a respeito do contexto específico (2) que se propõe a avaliar, a partir da percepção do próprio decisor (3) por meio de atividades que identificam, organizam, (4) mensuram, ordinal e cardinalmente, e (5) integram os aspectos considerados como necessários e suficientes para sua gestão, (6) permitindo visualizar o impacto das consequências das ações e seu gerenciamento (ENSSLIN et al., 2010, p. 130, numeração adicionada para informar a origem da lente VALMORBIDA et al., 2011).

A finalidade da análise sistêmica, portanto, é a evidenciação das lacunas e proposições de pesquisa. A geração de conhecimento no pesquisador e, como consequência, na comunidade científica, é um resultado natural desse processo, decorrente das informações tangíveis apresentadas pela publicação acerca do estágio do fragmento da literatura de interesse, bem como da sinalização de oportunidades para continuidade de investigações na área.

O processo de seleção dos artigos científicos do PB consistiu na formação de um banco de artigos bruto e em sua filtragem em relação ao tema da investigação. Para isso, foram consultadas seis bases de dados e definidas palavras-chave para os três eixos de pesquisa: avaliação de desempenho, educação a distância e universidade. Os resultados da aplicação das palavras-chave nas bases de dados indicaram 2.581 publicações, que passaram pelo processo de filtragem em relação aos seguintes critérios: artigos científicos não duplicados; disponibilidade on-line e gratuita; título relacionado à avaliação de curso ofertado na modalidade EaD; reconhecimento científico confirmado ou com potencial para tal; resumo indicando a realização de avaliação de curso de graduação ofertado na modalidade EaD; texto integral indicando a realização de avaliação de desempenho de curso de graduação ofertado na modalidade EaD.

A etapa posterior à leitura dos títulos, denominada de análise do reconhecimento científico, consistiu na contagem de citações de cada artigo em outros trabalhos científicos, cujos dados foram coletados na Plataforma Google Scholar. Os artigos que, em conjunto, totalizaram mais de 90% do número de citações de todos os artigos com títulos relacionados ao tema, passaram para a próxima etapa do processo de filtragem. Os artigos publicados a partir de 2014 e que não possuíam reconhecimento científico confirmado também foram incluídos, sendo considerados com potencial para reconhecimento científico, haja vista que foram publicados em período mais recente.

Além da busca e da filtragem das publicações, foi realizado o teste te representatividade, caracterizado pela análise das referências dos 13 artigos científicos resultantes da etapa anterior, que passaram pelo mesmo processo de filtragem. O processo completo e detalhado de aplicação do Proknow-C para composição do banco de artigos está apresentado na Figura 1.

Figura 1 -
Processo completo de seleção do Portfólio Bibliográfico

O PB contempla, portanto, 21 artigos científicos disponíveis on-line e relacionados ao tema da pesquisa.

Quanto à análise sistêmica, faz-se necessário explicitar as lentes que serão utilizadas pelos pesquisadores, as quais servem para informar “o que” e “como” os dados serão interpretados e analisados (VALMORBIDA et al., 2014VALMORBIDA, Sandra Mara Iesbik et al. Avaliação de desempenho para auxílio na gestão de universidades públicas: análise da literatura para identificação de oportunidades de pesquisas. Contabilidade, Gestão e Governança, Brasília, v. 17, n. 3, 2014.). Em relação às lentes, o Quadro 1 apresenta suas terminologias e o que foi analisado em cada uma delas.

Quadro 1
Lentes utilizadas na análise sistêmica do Proknow-C no contexto da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD

Na sequência, estão apresentados os resultados da análise sistêmica dos artigos do PB, sob a perspectiva de avaliação de desempenho adotada pelos pesquisadores.

4 Resultados

4.1 Lente 1 - Abordagem

Para a construção dos modelos de avaliação, verificou-se a abordagem em que o autor baseou a construção do modelo: (i) Normativista; (ii) Descritivista; (iii) Prescritivista; ou (iv) Construtivista (DIAS; TSOUKIÀS, 2004, p. 4DIAS, Luis. C.; TSOUKIÀS, Alexis. On the constructive and other approaches in decision aiding. In: ANTUNES, C. H.; FIGUEIRA, J.; CLÍMACO, J. (eds.). Aide multicritére à la décision: multiple criteria decision aiding. Coimbra: CCDRC/INESCC/FEUC, 2004. p. 13-28.). A abordagem Normativista não foi utilizada por nenhum autor na construção do modelo e um trabalho não foi classificado quanto à abordagem, pois se refere a uma revisão de literatura e não propõe a construção de um modelo ou ferramenta de avaliação de desempenho.

A abordagem Prescritivista, por sua vez, foi utilizada em 70% dos artigos, como nos trabalhos de Arbaugh e Duray (2002ARBAUGH, J. Ben; DURAY, Rebecca. Technological and structural characteristics, student learning and satisfaction with web-based courses an exploratory study of two on-line MBA programs. Management learning, United Kingdom, v. 33, n. 3, p. 331-347, 2002.); Johnson, Hornik e Salas (2008JOHNSON, Richard D.; HORNIK, Steven; SALAS, Eduardo. An empirical examination of factors contributing to the creation of successful e-learning environments. International Journal of Human-Computer Studies, United States, v. 66, n. 5, p. 356-369, 2008.); Ozkan e Koseler (2009); Howland e Moore (2002HOWLAND, Jane L.; MOORE, Joi L. Student perceptions as distance learners in Internet-based courses. Distance Education, United Kingdom, v. 23, n. 2, p. 183-195, 2002. ); Arbaugh (2002); Holsapple e Lee-Post (2006), Corlett et al. (2005); Sims, Dobbs e Hand (2002SIMS, Rod; DOBBS, Graeme; HAND, Tim. Enhancing quality in on-line learning: Scaffolding planning and design through proactive evaluation. Distance Education, United Kingdom, v. 23, n. 2, p. 135-148, 2002.); Alstete e Beutell (2004ALSTETE, Jeffrey W.; BEUTELL, Nicholas J. Performance indicators in on-line distance learning courses: a study of management education. Quality Assurance in Education, United Kingdom, v. 12, n. 1, p. 6-14, 2004.); Roberts et al. (2005ROBERTS, T. Grady et al. The development of an instrument to evaluate distance education courses using student attitudes. The American Journal of Distance Education, United States, v. 19, n. 1, p. 51-64, 2005.); Urtel (2008URTEL, Mark G. Assessing academic performance between traditional and distance education course formats. Journal of Educational Technology & Society, Taiwan, v. 11, n. 1, p. 322-330, 2008.); Chaney et al. (2007CHANEY, Beth Hensleigh et al. Development of an instrument to assess student opinions of the quality of distance education courses. The American Journal of Distance Education, United States, v. 21, n. 3, p. 145-164, 2007.); Gaba e Dash (2004GABA, Ashok K.; DASH, Nirod K. Course evaluation in open and distance learning: a case study from Indira Gandhi National Open University. Open learning: the Journal of Open, Distance and e-Learning, United Kingdom, v. 19, n. 2, p. 213-221, 2004.); Admiraal, Huisman e Pilli (2015ADMIRAAL, Wilfried; HUISMAN, Bart; PILLI, Olga. Assessment in massive open on-line courses. Electronic Journal of e-Learning, United Kingdom, v. 13, n. 4, 2015.); Rodrigues et al. (2014RODRIGUES, Cláudia M. Cruz et al. Uma proposta de instrumento para avaliação da educação a distância. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 22, n. 83, p. 321-354, 2014.).

A abordagem descritivista foi utilizada em 25% dos artigos que compõem o PB, nos trabalhos de Sun et al. (2008); McConatha, Praul e Lynch (2008); Urtel (2008); Arieira et al. (2009ARIEIRA, Jailson de Oliveira et al. Avaliação do aprendizado via educação a distância: a visão dos discentes. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 17, n. 63, p. 313-340, 2009.); Pinto Junior e Nogueira (2014PINTO JUNIOR, Glenio do Couto; NOGUEIRA, Vera Maria Ribeiro. Programa Universidade Aberta do Brasil: aspectos relevantes na construção de uma metodologia para avaliar sua implementação. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 19, n. 1, 2014. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772014000100011&script=sci_abstract &tlng=pt . Acesso em: 10 maio 2018.
https://www.scielo.br/scielo.php?pid=S14...
);

Já a abordagem construtivista foi utilizada no trabalho de Kelly (2008KELLY, Greta. A collaborative process for evaluating new educational technologies. Campus-Wide Information Systems, United Kingdom, v. 25, n. 2, p. 105-113, 2008.). A utilização de abordagem construtivista, ou seja, a abordagem que incorpora os valores e preferências do decisor com foco na geração de seu conhecimento é uma oportunidade de investigação futura para estudos que visem apoiar a gestão/decisão.

Em relação ao contexto onde os dados foram coletados para construir os modelos, as possibilidades são: (i) Genéricos: contextos similares, literatura (ciência), especialistas, passado histórico, outros locais; e (ii) Específicos: com base no gestor e no curso/organização sob análise (VALMORBIDA et al. 2014). Verificou-se que há uma concentração de artigos (60%) que buscam critérios estabelecidos na literatura e na opinião de especialistas. Por outro lado, 40% dos trabalhos se preocupam com a busca de informações em contextos específicos para a construção do modelo.

Procedeu-se, na sequência, à análise da harmonia entre o local que deu origem ao modelo construído e o local onde o modelo construído foi aplicado. Observou-se que 87% dos artigos se preocuparam com a particularidade de cada situação, ou seja, coletaram dados e aplicaram o modelo nos mesmos contextos, portanto, evidenciam a existência de harmonia entre a origem e a aplicação dos modelos construídos. No entanto, 13% dos trabalhos não possuem aderência entre o contexto de origem e aplicação dos modelos.

Impende-se salientar que os trabalhos de Sims, Dobbs e Hand (2002); Roberts et al. (2005); Lei e Gupta (2010LEI, Simon A.; GUPTA, Rajeev K. College distance education courses: evaluating benefits and costs from institutional, faculty and students'perspectives. Education, United States, v. 130, n. 4, p. 616, 2010.); Kelly (2008); Pinto Junior e Nogueira (2014) não aplicaram modelos, portanto, não foram analisados quanto à aderência entre a origem do modelo e o local de aplicação. Foi identificada uma oportunidade de contribuição para futuras investigações: a utilização de modelo de avaliação de desempenho no contexto que deu origem aos dados e para o qual foi construído, bem como a aplicação dos modelos que foram construídos, mas que ainda não foram aplicados/testados.

4.2 Lente 2 - Singularidade

A lente da singularidade busca reconhecer se o problema é único em termos de gestores e do contexto, entendido como a própria organização ofertante de cursos EaD, e também se há algum gestor dentro da organização que tenha transmitido a identidade institucional para o modelo proposto. Sob esta perspectiva, observou-se que 85% dos trabalhos reconhecem que o contexto é único e que o modelo deve ser utilizado para o contexto para o qual foi construído. Um artigo não avançou nesta análise, pois consiste em uma revisão de literatura. Os demais artigos (15%) não reconhecem que o ambiente físico é único, o que se constitui como uma oportunidade para futuras investigações: a consideração, em futuros trabalhos, de que cada contexto possui características distintas, mesmo que dentro do mesmo setor, com determinadas potencialidades e fragilidades.

Também buscou-se verificar o tipo de participação do gestor na construção do modelo, onde foi identificado que 75% dos artigos constroem o modelo sem a participação do gestor, portanto, somente baseados na perspectiva dos próprios pesquisadores e/ou baseados na literatura científica. Nenhum artigo trabalha com a participação do gestor em todas as etapas de construção do modelo e, por fim, 35% dos artigos científicos do PB consideram a participação do gestor em algumas etapas do processo de construção do modelo.

Evidencia-se como proposição para futuras investigações a incorporação dos gestores na construção dos modelos de avaliação, tendo em vista seu conhecimento acerca do contexto específico, e que são eles os principais interessados nas avaliações propostas.

4.3 Lente 3 - Processo para identificar objetivos (variáveis/critérios)

Foi possível identificar que 65% dos trabalhos não levam em consideração os valores e preferências do gestor ao identificar e operacionalizar os critérios a serem mensurados no processo de avaliação de desempenho. Referente à participação do gestor para validar o processo de identificação dos objetivos, 20% dos artigos apresentaram essa característica.

15% dos trabalhos (KELLY, 2008; PINTO JUNIOR; NOGUEIRA, 2014; RODRIGUES et al., 2014) figuraram na situação em que o processo para identificar os objetivos/variáveis/critérios está parcialmente fundamento nos valores e percepções do decisor. E, por fim, nenhum trabalho considerou os valores e percepções do gestor em todas as etapas do processo, o que indica uma oportunidade de pesquisa: melhorar o processo de avaliação de desempenho no sentido de deixá-lo cada vez mais preciso e adequado ao contexto sob análise, agregando ao processo as preferências do gestor.

4.4 Lente 4 - Mensuração

Buscou-se verificar se os trabalhos realizaram a mensuração de desempenho dos objetivos identificados, onde foi constatado que os trabalhos de Lei e Gupta (2010) - (revisão de literatura); Sims, Dobbs e Hand (2002); Kelly (2008) e Pinto Junior e Nogueira (2014), Rodrigues et al. (2014) não realizaram a atividade de mensuração, pois não aplicaram nenhum modelo/ferramenta. Verificou-se que dos trabalhos que realizaram a atividade de mensuração, dois deles não permitiram identificar a escala utilizada (HOWLAND; MORE, 2002; URTEL, 2008).

Dentre os trabalhos que realizam a atividade de mensuração de desempenho dos objetivos e permitiram identificar a escala, ou seja, 71,42% dos artigos do PB, buscou-se identificar se as operações realizadas eram compatíveis com a escala. Nos trabalhos de Corlett et al. (2005); Roberts et al. (2005); Rodrigues et al. (2014) as operações realizadas consideraram o cálculo da média e do desvio padrão para escalas ordinais, o que segundo Barzilai (2001BARZILAI, Jonathan. On the foundations of measurement. In: INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS, 1., 2001, Madison. Proceedings [...]. Madison: Ieee Computer Society, 2001. p. 401 - 406. ), não atenderia à Teoria da Mensuração, apesar de a escala Likert, por exemplo, ser amplamente adotada em Ciências Sociais Aplicadas e tratada como uma grandeza escalar, com as devidas limitações.

Como oportunidade de investigação futura, sugere-se a utilização de operações matemáticas que atendam plenamente à Teoria da Mensuração, ou seja, compatíveis com a escala, visando atender ao conceito de validade do modelo matemático.

4.5 Lente 5 - Processo para integrar os objetivos/escalas/indicadores do modelo de AD

Quanto à realização do processo de integração dos objetivos/escalas/indicadores do modelo, buscou-se verificar se os autores realizaram esta integração e de que forma o fizeram. Os trabalhos de Howard e Moore (2002); Roberts et al. (2005); Pinto Junior e Nogueira (2014) não possuíam o propósito de integração. Os demais artigos do PB não realizaram a atividade de integração dos objetivos/escalas/indicadores.

Constatou-se que nenhum trabalho realizou a integração, portanto, não consideraram a percepção dos gestores na identificação dos níveis de referência, e também não realizaram a integração, mesmo sem a participação dos gestores. Esse resultado indica uma oportunidade para futuras investigações, no sentido de estabelecer níveis de referência para cada objetivo, com a participação dos gestores, com o objetivo de facilitar o processo de gestão do desempenho e permitir uma visão holística do contexto avaliado.

4.6 Lente 6 - Gestão

Esta lente possui a finalidade de analisar se o modelo construído ou utilizado nos artigos do PB permite realizar a atividade de gestão de desempenho do contexto que está sendo analisado. O trabalho de Lei e Gupta (2010), por consistir em uma revisão de literatura, não entrou na análise desta lente. No que se refere à possibilidade de diagnosticar a situação atual da organização de forma numérica e/ou gráfica, como conhecer pontos fortes e fracos, nenhum artigo apresentou essa característica, o que se coloca como uma oportunidade de melhoria, pois a apresentação gráfica e/ou numérica do diagnóstico do desempenho atual do contexto pode facilitar a visualização dos resultados de possíveis ações de melhoria aplicadas, permitindo a comparação entre o desempenho atual e o desempenho futuro. No entanto, o diagnóstico da situação atual da organização foi apresentado de forma textual em 35% dos trabalhos, nos quais também foram apresentados os pontos fracos do desempenho.

Quanto à apresentação de um processo para gerar ações de aperfeiçoamento na organização, verificou-se que 11% dos artigos apresentaram um processo para gerar ações de aperfeiçoamento, identificaram ações e as hierarquizaram (SUN et al., 2008; RODRIGUES et al., 2014). Outros trabalhos apresentaram um processo para gerar ações de aperfeiçoamento e sugeriram ações, porém, sem hierarquizá-las, somando 33%. Essas informações evidenciam a existência de uma lacuna na literatura em relação ao processo de aperfeiçoamento, onde poucos trabalhos sugerem ações de aperfeiçoamento e as hierarquizam, o que poderia fornecer ao gestor subsídios e orientações para a tomada de decisão acerca do que precisa ser melhorado no desempenho do contexto analisado.

4.7 Proposições para o avanço da área

Com a realização da análise sistêmica, os pesquisadores possuem o conhecimento necessário sobre o fragmento da literatura referente à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, o que permite apresentar as seguintes proposições gerais para futuras pesquisas relacionadas a essa temática, tais como:

  • Construir um modelo de avaliação de desempenho que incorpore os valores e preferências dos gestores da organização em todas as etapas de desenvolvimento do modelo;

  • Construir um modelo de avaliação de desempenho que possibilite a identificação dos objetivos da organização a serem mensurados;

  • Realizar análises quantitativas que atendam plenamente à Teoria da Mensuração;

  • Definir níveis de referência para todos os objetivos da organização a serem mensurados;

  • Diagnosticar gráfica e/ou numericamente o desempenho atual da organização;

  • Apresentar um processo estruturado de aperfeiçoamento da organização, com base no diagnóstico atual.

De modo mais específico, a análise dos artigos científicos com temática relacionada à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, com base na perspectiva das seis lentes de avaliação de desempenho, permitiu estruturar proposições científicas e práticas para o desenvolvimento desse fragmento da literatura, portanto, implicações para os pesquisadores e também para os gestores dos cursos/organizações, conforme Quadro 2.

Quadro 2
Estrutura de proposições científicas e práticas para estudos relacionados à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD

As informações evidenciadas no Quadro 2 podem ser úteis para pesquisares, enquanto responsáveis por ampliar os horizontes do conhecimento, e também para os gestores do contexto sob investigação, enquanto responsáveis pela melhoria do desempenho de sua organização. A partir das lacunas encontradas na literatura científica, evidencia-se a importância da participação dos gestores de organizações ofertantes de cursos de graduação na modalidade EaD na construção de modelos de avaliação de desempenho, socializando seus valores e preferências, identificando objetivos a serem avaliados, hierarquizando indicadores de avaliação, identificando os pontos fracos e fortes da organização e participando da aplicação de ações de aperfeiçoamento decorrentes da utilização do modelo de avaliação. Aos pesquisadores, sugere-se a elaboração de modelos de avaliação de desempenho que incorporem os valores e preferências dos gestores da organização que está sendo avaliada, em todas as etapas de desenvolvimento do modelo.

5 Considerações finais

Este trabalho teve como objetivo analisar as oportunidades de pesquisa referentes à avaliação de desempenho de cursos de graduação ofertados na modalidade EaD, por meio das publicações que compõem o PB de artigos mais citados pela comunidade científica. O instrumento selecionado para o alcance desse objetivo foi o Knowledge Development Process-Constructivist (ProKnow-C), por apresentar um processo estruturado e completo para a seleção e análise da literatura. Com a utilização do ProKnow-C, foi possível realizar as etapas de seleção de um PB, composto por 21 artigos alinhados ao tema da pesquisa; e (ii) análise sistêmica dos artigos do PB.

A análise sistêmica permitiu aos pesquisadores a identificação de lacunas na literatura científica relacionada ao tema da avaliação de desempenho de cursos de graduação ofertados na modalidade EaD. Foi possível apresentar proposições gerais e específicas para futuras investigações relacionadas à temática, dentre as quais ressalta-se a importância de que sejam considerados os valores e preferências dos gestores das organizações ofertantes de cursos de graduação na modalidade EaD, durante o desenvolvimento e aplicação do modelo de avaliação de desempenho. Pesquisadores e gestores devem participar das etapas de desenvolvimento do modelo de avaliação, seja na definição dos objetivos a serem mensurados, na hierarquização dos indicadores de avaliação ou na aplicação de ações de aperfeiçoamento do contexto sob análise. Em linhas gerais, a análise dos artigos a partir das lentes de avaliação de desempenho culminaram nas seguintes proposições para futuras investigações: i) construir um modelo de avaliação de desempenho que incorpore os valores e preferências dos gestores da organização em todas as etapas de desenvolvimento do modelo; ii) construir um modelo de avaliação de desempenho que possibilite a identificação dos objetivos da organização a serem mensurados; iii) realizar análises quantitativas que atendam plenamente à Teoria da Mensuração; iv) definir níveis de referência para todos os objetivos da organização a serem mensurados; v) diagnosticar gráfica e/ou numericamente o desempenho atual da organização; vi) presentar um processo estruturado de aperfeiçoamento da organização, com base no diagnóstico atual

As proposições para futuras investigações puderam ser elaboradas em razão da utilização do método ProKnow-C, pois o mesmo incorpora critérios rigorosamente estabelecidos para seleção e filtragem dos artigos e parte de uma concepção teórica de avaliação de desempenho pré-definida, composta por seis lentes, que passaram a ser a visão de mundo dos pesquisadores durante a análise das publicações.

Com o conhecimento gerado pelo Proknow-C, foi possível apresentar proposições de ação para os pesquisadores e para os gestores. O tema da avaliação de desempenho de cursos de graduação, ofertados na modalidade Educação a Distância, configura-se, com base nos resultados apresentados, como um campo a ser explorado. A avaliação de desempenho, como visto no estudo, abarca diversos aspectos institucionais, pedagógicos, infraestruturais, que são características intrínsecas aos estudantes, entre outros. O aprofundamento, nessas relações entre as diferentes dimensões a serem avaliadas em cursos EaD, não constitui os objetivos do presente estudo, mas emerge como oportunidade de pesquisa.

Além dessas oportunidades, por se tratar de um direcionamento consistente e estruturado, baseado na literatura mundial relacionada à temática, a sistematização das informações pode fundamentar os processos de avaliação de cursos EaD, bem como de avaliação institucional das Instituições de Ensino Superior (IES) e de suas respectivas gestões, uma vez que o desenvolvimento de sistemas de avaliação de desempenho interno, que apresentem uma abordagem construtivista, considerando as peculiaridades e necessidades específicas da instituição, influencia diretamente nos resultados da avaliação de desempenho externa.

Como limitações da pesquisa, aponta-se a delimitação temporal dos artigos publicados entre os anos 2000 e 2017; a busca dos artigos científicos em seis bases de dados, que podem ser alteradas em futuras investigações sobre o tema, com a inclusão, por exemplo, de bases de dados mais específicas da área educacional.

Referências

  • ADMIRAAL, Wilfried; HUISMAN, Bart; PILLI, Olga. Assessment in massive open on-line courses. Electronic Journal of e-Learning, United Kingdom, v. 13, n. 4, 2015.
  • ALSTETE, Jeffrey W.; BEUTELL, Nicholas J. Performance indicators in on-line distance learning courses: a study of management education. Quality Assurance in Education, United Kingdom, v. 12, n. 1, p. 6-14, 2004.
  • ARBAUGH, J. Ben. Managing the on-line classroom: a study of technological and behavioral characteristics of web-based MBA courses. The Journal of High Technology Management Research, United Kingdom, v. 13, n. 2, p. 203-223, 2002.
  • ARBAUGH, J. Ben; DURAY, Rebecca. Technological and structural characteristics, student learning and satisfaction with web-based courses an exploratory study of two on-line MBA programs. Management learning, United Kingdom, v. 33, n. 3, p. 331-347, 2002.
  • ARIEIRA, Jailson de Oliveira et al Avaliação do aprendizado via educação a distância: a visão dos discentes. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 17, n. 63, p. 313-340, 2009.
  • BARZILAI, Jonathan. On the foundations of measurement. In: INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS, 1., 2001, Madison. Proceedings [...]. Madison: Ieee Computer Society, 2001. p. 401 - 406.
  • BELLONI, Maria Luiza. Educação a distância. Campinas: Autores Associados, 2001.
  • BITITCI, Umiti et al Performance measurement: challenges for tomorrow. International Journal of Management Reviews, United Kingdom, v. 14, n. 3, p. 305-327, 2012.
  • BORTOLUZZI, S. C. et al Avaliação de desempenho de redes de pequenas e médias empresas (PMES): lacunas e oportunidades de pesquisa. Revista Gestão Industrial, Curitiba, v. 9, n. 4, p. 886-906, 2014.
  • BRASIL. Constituição da República Federativa do Brasil de 1988. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm 1988Acesso em: 21 mar. 2017.
    » http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm
  • BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Enade. 2017Disponível em: Disponível em: http://portal.inep.gov.br/enade Acesso em: 10 maio 2018.
    » http://portal.inep.gov.br/enade
  • BRASIL. MEC. Referenciais de Qualidade para EaD. Documento de 2007. Disponível em:Disponível em:http://portal.mec.gov.br/par/193-secretarias-112877938/seed-educacao-a-distancia-96734370/12777-referenciais-de-qualidade-para-ead Acesso em: 10 maio 2018.
    » http://portal.mec.gov.br/par/193-secretarias-112877938/seed-educacao-a-distancia-96734370/12777-referenciais-de-qualidade-para-ead
  • CHANEY, Beth Hensleigh et al Development of an instrument to assess student opinions of the quality of distance education courses. The American Journal of Distance Education, United States, v. 21, n. 3, p. 145-164, 2007.
  • CORLETT, Dan et al Evaluation of a mobile learning organiser for university students. Journal of Computer Assisted Learning, United Kingdom, v. 21, n. 3, p. 162-170, 2005.
  • DIAS, Luis. C.; TSOUKIÀS, Alexis. On the constructive and other approaches in decision aiding. In: ANTUNES, C. H.; FIGUEIRA, J.; CLÍMACO, J. (eds.). Aide multicritére à la décision: multiple criteria decision aiding. Coimbra: CCDRC/INESCC/FEUC, 2004. p. 13-28.
  • ENSSLIN, Leonardo et al Avaliação de desempenho de empresas terceirizadas com o uso da metodologia Multicritério de Apoio à Decisão-Construtivista. Pesquisa Operacional, Rio de Janeiro, v, 30, n. 1, p. 125-152, 2010.
  • ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim; PINTO, Hugo de Moraes. Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC-Revista de Administração Contemporânea, Maringá, v. 17, n. 3, 2013.
  • ENSSLIN, Sandra R. et al Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária. Revista de Economia e Sociologia Rural (Impresso), Brasília, v. 52, n. 3, p. 587-608, 2014.
  • GABA, Ashok K.; DASH, Nirod K. Course evaluation in open and distance learning: a case study from Indira Gandhi National Open University. Open learning: the Journal of Open, Distance and e-Learning, United Kingdom, v. 19, n. 2, p. 213-221, 2004.
  • GARCIA, Vera L.; CARVALHO JUNIOR, Paulo Marcondes. Educação à distância (EAD), conceitos e reflexões. Medicina (Ribeirão Preto), Ribeirão Preto, v. 48, n. 3, p. 209-213, 2015.
  • GLOBERSON, Shlomo. Issues in developing a performance criteria system for an organization. International Journal of Production Research, United Kingdom, v. 23, n. 4, p. 639-646, 1985.
  • HAMMOND, Kenneth R.; STEWART, Thomas R. The essential Brunswik: Beginnings, explications, applications. Oxford: Oxford University Press, 2001.
  • HOLSAPPLE, Clyde W.; LEE‐POST, Anita. Defining, assessing, and promoting e‐learning success: an information systems perspective. Decision sciences journal of innovative education, United Kingdom, v. 4, n. 1, p. 67-85, 2006.
  • HOWLAND, Jane L.; MOORE, Joi L. Student perceptions as distance learners in Internet-based courses. Distance Education, United Kingdom, v. 23, n. 2, p. 183-195, 2002.
  • ILOTT, Irene et al Evaluating a novel approach to enhancing dysphagia management: workplace based, blended e learning. Journal of Clinical Nursing, United Kingdom, v. 23, n. 9-10, p. 1354-1364, 2014.
  • JOHNSON, Richard D.; HORNIK, Steven; SALAS, Eduardo. An empirical examination of factors contributing to the creation of successful e-learning environments. International Journal of Human-Computer Studies, United States, v. 66, n. 5, p. 356-369, 2008.
  • KEEGAN, Desmond. Fundations of distance education. London: Routledge, 2013.
  • KELLY, Greta. A collaborative process for evaluating new educational technologies. Campus-Wide Information Systems, United Kingdom, v. 25, n. 2, p. 105-113, 2008.
  • KIM, DaeShik; LEE, Helen; SKELLENGER, Annette. Comparison of levels of satisfaction with distance education and on-campus programs. Journal of Visual Impairment & Blindness, United States, v. 106, n. 5, p. 275, 2012.
  • LACERDA, Rogério Tadeu de Oliveira; ENSSLIN, Leonardo; ENSSLIN, Sandra Rolim. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, São Carlos, v. 19, n. 1, 2012.
  • LAVENDER, Dame Tina et al A pilot quasi-experimental study to determine the feasibility of implementing a partographe-learning tool for student midwife training in Nairobi. Midwifery, United States, v. 29, n. 8, p. 876-884, 2013.
  • LEI, Simon A.; GUPTA, Rajeev K. College distance education courses: evaluating benefits and costs from institutional, faculty and students'perspectives. Education, United States, v. 130, n. 4, p. 616, 2010.
  • MCCONATHA, Douglas; PRAUL, Matt; LYNCH, Michael J. Mobile learning in higher education: an empirical assessment of a new educational tool. On-line Submission, India, v. 7, n. 3, 2008.
  • MELNYK, Steven A. et al Is performance measurement and management fit for the future? Management Accounting Research, United States, v. 25, n. 2, p. 173-186, 2014.
  • MOORE, Michael G.; KEARSLEY, Greg. Distance education: a systems view of online learning. United States: Cengage Learning, 2011.
  • MUGNOL, Marcio. A educação a distância no Brasil: conceitos e fundamentos. Revista Diálogo Educacional, Paraná, v. 9, n. 27, 2009.
  • NEELY, Andy. The measure performance revolution. Why now and what next? International Journal of Operations & Production Management, United Kingdom, v. 16, n. 2, p. 205-228, 1999.
  • NEELY, Andy; GREGORY, Mike; PLATTS, Ken. Performance measurement system design - A literature review and research agenda. International Journal of Operations & Production Management, United Kingdom, v. 15, n. 4, p. 80-116, 1995.
  • OZKAN, Sevgi; KOSELER, Refika. Multi-dimensional students’ evaluation of e-learning systems in the higher education context: An empirical investigation. Computers & Education, United Kingdom, v. 53, n. 4, p. 1285-1296, 2009.
  • PETERS, Otto. Didática do ensino a distância: experiências e estágios da discussão numa visão internacional. Rio Grande do Sul: Unisinos, 2001.
  • PINTO JUNIOR, Glenio do Couto; NOGUEIRA, Vera Maria Ribeiro. Programa Universidade Aberta do Brasil: aspectos relevantes na construção de uma metodologia para avaliar sua implementação. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 19, n. 1, 2014. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S1414-40772014000100011&script=sci_abstract &tlng=pt Acesso em: 10 maio 2018.
    » https://www.scielo.br/scielo.php?pid=S1414-40772014000100011&script=sci_abstract &tlng=pt
  • PULSFORD, David et al Classroom-based and distance learning education and training courses in end-of-life care for health and social care staff: A systematic review. Palliative Medicine, United States, v. 27, n. 3, p. 221-235, 2013.
  • ROBERTS, T. Grady et al The development of an instrument to evaluate distance education courses using student attitudes. The American Journal of Distance Education, United States, v. 19, n. 1, p. 51-64, 2005.
  • RODRIGUES, Cláudia M. Cruz et al Uma proposta de instrumento para avaliação da educação a distância. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 22, n. 83, p. 321-354, 2014.
  • SIMS, Rod; DOBBS, Graeme; HAND, Tim. Enhancing quality in on-line learning: Scaffolding planning and design through proactive evaluation. Distance Education, United Kingdom, v. 23, n. 2, p. 135-148, 2002.
  • SMITH, Marisa; BITITCI, Umit. Interplay between performance measurement and management, employee engagement and performance. International Journal of Operations & Production Management, United Kingdom, v. 37, n. 9, p. 1207-1228, 2017.
  • SUN, Pei-Chen et al What drives a successful e-Learning? An empirical investigation of the critical factors influencing learner satisfaction. Computers & Education, United Kingdom, v. 50, n. 4, p. 1183-1202, 2008.
  • THIEL, Gustavo Guilherme; ENSSLIN, Sandra Rolim; ENSSLIN, Leonardo. Street lighting management and performance evaluation: opportunities and challenges. LEX Localis - Journal Of Local Self-Government, Slovenia, v. 15, n. 2, p. 303-328, 2017.
  • URTEL, Mark G. Assessing academic performance between traditional and distance education course formats. Journal of Educational Technology & Society, Taiwan, v. 11, n. 1, p. 322-330, 2008.
  • VALMORBIDA, Sandra Mara Iesbik et al Gestão Pública com foco em resultados: evidenciação de oportunidades de pesquisa. CAP Accounting and Management, Toledo, v. 5, n. 5, p. 126-136, 2011.
  • VALMORBIDA, Sandra Mara Iesbik et al Avaliação de desempenho para auxílio na gestão de universidades públicas: análise da literatura para identificação de oportunidades de pesquisas. Contabilidade, Gestão e Governança, Brasília, v. 17, n. 3, 2014.
  • VALMORBIDA, Sandra Mara Iesbik; ENSSLIN, Leonardo. Construção de conhecimento sobre avaliação de desempenho para gestão organizacional: uma investigação nas pesquisas científicas internacionais. Revista Contemporânea de Contabilidade, Florianópolis, v. 13, n. 28, p. 123-148, 2016.
  • VENDRUSCOLO, Maria Ivanice; BEHAR, Patrícia Alejandra. Investigando modelos pedagógicos para educação a distância: desafios e aspectos emergentes. Educação, Porto Alegre, v. 39, n. 3, 2016.
  • WANG, Jing et al Evaluation of the first open-access hepatitis B and safe injection on-line training course for health professionals in China. BMC Medical Education, United Kingdom, v. 16, n. 1, p. 81, 2016.
  • ZERBINI, Thais; ABBAD, Gardenia. Impacto de treinamento no trabalho via internet. RAE Eletrônica, São Paulo, v. 4, n. 2, 2005.

Datas de Publicação

  • Publicação nesta coleção
    18 Nov 2020
  • Data do Fascículo
    Sep-Dec 2020

Histórico

  • Recebido
    24 Ago 2018
  • Aceito
    01 Jun 2020
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br