MODELO DE AVALIAÇÃO DE APLICATIVOS EDUCACIONAIS: AVALIANDO APLICATIVOS DE QUÍMICA ORGÂNICA DA GOOGLE PLAY^®

EDUCATIONAL APPLICATIONS EVALUATION MODEL: EVALUATING GOOGLE PLAY^® ORGANIC CHEMISTRY APPS.

Resumo

Over the years it has been possible to notice the growth of applications for educational purposes available on digital platforms. Many of these apps are used in teaching and learning processes, however few are evaluated regarding their theoretical and practical aspects. In this context, in chemistry teaching, specifically the area of organic chemistry, it is inferred that apps can help build knowledge of this Science through visualization and interaction with them, but little is discussed about how these apps are evaluated in practice. Therefore, the present work proposes a new model based on technical and pedagogical aspects, based on evaluation models for educational digital games and Bloom’s digital taxonomy, called the educational application evaluation model (EAEM). In addition, organic chemistry applications available on the Google Play® platform through EAEM are analyzed. The results indicate that the EAEM was efficient in evaluating organic chemistry apps, configuring itself as an alternative for choosing educational apps regardless of the subject, where teachers can analyze the characteristics of the apps according to their pedagogical activities.

Keywords:
educational applications evaluation model; apps; organic chemistry

INTRODUÇÃO

Uma das maneiras em que podemos incorporar as tecnologias digitais de informação e comunicação (TDIC) no ensino é através da aprendizagem móvel (mobile learning) que “aproveita as potencialidades de dispositivos móveis (celular, PDA, PSP, pocket PC, tablet, notebook) usufruindo de oportunidades de aprendizagem através de diferentes contextos e tempos”.¹ Nesse sentido, uma forma muito conhecida de inserir a aprendizagem móvel é através dos jogos digitais, que por sua vez, podem ofertar momentos lúdicos e interativos quando usados nas atividades de aprendizagem,² mas para que se tornem um instrumento educacional é necessário que o jogo contenha alguma característica ligada a aprendizagem.³

Para o auxiliar o docente na escolha de aplicativos (apps) que apresentam jogos digitais, existe atualmente na literatura modelos voltados para avaliação dos mesmos, que abordam desde as questões técnicas até questões envolvendo o ensino e a aprendizagem, como por exemplo, o modelo desenvolvido por Coutinho e Alves,⁴ o modelo proposto por Savi et al.,⁵ o programa desenvolvido por Santos e Alves,⁶ dentre outros. Contudo, apesar da existência de tais modelos voltados para os aplicativos que possuem jogos digitais, ainda existe uma carência no que se refere a modelos que envolvem outros tipos de aplicativos educacionais.

Sabendo que muitos estudantes possuem dispositivos móveis com acesso à internet,⁷,⁸ o docente pode analisar estratégias para o uso destes dispositivos de maneira significativa. Ademais, considerando que “o ensino de química tem como um dos objetivos possibilitar a ampliação de percepções cotidianas do discente, favorecendo a compreensão de fenômenos comuns à sua vida”,⁹ podemos observar que ainda há lacunas na construção do conhecimento químico, devido a muitas vezes a disciplina ser trabalhada de maneira tradicional, metodista e estática, não promovendo (muitas vezes) uma aprendizagem efetiva.¹⁰

A química orgânica é uma das áreas da disciplina de química que muitas vezes se encontra imersa nesse estilo tradicional de ensino devido a existência de complicações em relação ao seu ensino,¹¹ pois “a maioria dos professores do ensino médio ainda tem muitas dificuldades em contextualizar os conteúdos curriculares dessa disciplina em suas aulas”.¹² As dificuldades no ensino de química orgânica tendem a aumentar devido as ciências operarem com modelos abstratos, nos conceitos que abordam a estrutura espacial das moléculas, o que “torna o estudo de química orgânica uma memorização de nomes e símbolos que, sem os devidos esclarecimentos, nada têm a ver com a realidade microscópica que eles representam”.¹³

No que se refere ao uso de aplicativos para o ensino de química, os que envolvem a química orgânica são os que mais se destacam.¹⁴,¹⁵ Estes apps contemplam temas como funções orgânicas até mecanismos de reações, além de envolverem os conteúdos de tabela periódica, estudo das ligações químicas, estrutura e modelo molecular.¹⁵ Contudo, é importante que esse recurso didático digital esteja sendo usado de maneira objetiva, para que haja uma aprendizagem eficaz.

Modelos de avaliação de jogos educacionais digitais e a taxonomia digital de Bloom

Na literatura muito se tem discutido sobre os jogos na educação. Podemos observar as potencialidades tanto nos jogos analógicos, que são aqueles que fazem uso de recursos como tabuleiros, cartas, papel e/ou elementos perfomativos,¹⁶,¹⁷ quanto nos jogos digitais que proporcionam um ambiente atraente e interativo por meio das tecnologias digitais.¹⁷,¹⁸ Segundo Soares e Mesquita¹⁷ o jogo digital se difere do jogo convencional pela existência de uma interface computacional. No entanto, “outros aspectos que são elencados como característicos dos jogos permanecem no jogo digital, mesmo que tenham suas especificidades”.¹⁷ Os jogos (analógicos e/ou digitais), a partir de suas características, podem promover momentos benéficos, assim como desafiadores ao ambiente de aprendizagem.

Embora seja observado o avanço no uso dos jogos educacionais digitais (JED), ainda há questionamentos sobre a eficácia deles na educação, considerando que “a interação com os jogos digitais nos ambientes escolares é vista por pais e professores com uma certa desconfiança”.⁴ Sendo esses questionamentos, provenientes da falta de evidências que indicam o jogo como potencial para ajudar as crianças a aprenderem.⁴

Na busca de compreender o real alcance dos JED, diversos modelos de avaliação foram propostos com o intuito de avaliar como estes jogos têm ou podem contribuir para a construção do conhecimento.

No que se refere ao modelo IAQJED (instrumento de avaliação da qualidade de jogos educacionais digitais),⁴ temos uma visão adotada pelos autores de que para o jogo digital ser de qualidade, deve-se ter um equilíbrio entre três dimensões: a usabilidade, a experiência de usuário (UX) e princípios de aprendizagem. Assim, a finalidade deste modelo é “avaliar os jogos digitais na perspectiva de definir e esclarecer o que caracteriza sua qualidade para fins educativos”.⁴

O instrumento de avaliação de jogos para uso em educação (IAJUE)¹⁹ tem como objetivo auxiliar professores numa melhor seleção de jogos eletrônicos, com olhares tanto para as dimensões específicas, quanto para as pedagógicas. Segundo o autor,¹⁹ as análises realizadas em alguns instrumentos de avaliação mostram que alguns priorizam avaliar características técnicas, em detrimento das educacionais e outras priorizam as educacionais, esquecendo-se de pilares característicos de jogos. Sendo assim, o IAJUE traz na sua estrutura adaptada três categorias principais: (i) a pedagógica, que busca avaliar se no jogo há estratégias que promovam o desenvolvimento cognitivo, considerando aspectos como a adequação da linguagem, alinhamento com os objetivos de aprendizagem, estímulo a resolução de problemas, entre outros; (ii) a experiência de usuário, que se refere a experiência provocada no jogador, apresentando aspectos como imersão, desafio e interação; (iii) a interface, que está relacionada com indicadores de qualidade, tanto na área de ensino e aprendizagem, quanto na área técnica como por exemplo a funcionalidade.¹⁹

Já na proposta de um modelo de avaliação de jogos educacionais,⁵ podemos observar as dimensões voltadas mais para os objetivos de aprendizagem, as reações dos usuários e suas experiências e motivações, que são percebidas através do modelo ARCS (attention, relevance, confidence, satisfaction), que foi desenvolvido por John Keller,²⁰ que traz consigo a ideia de que a motivação é uma peça chave em qualquer organização educacional. A partir dessa perspectiva, Keller em seu modelo apresentou quatro categorias essenciais que podem despertar a motivação: atenção, relevância, confiança e satisfação (Quadro 1).

Quadro 1
Categorias do modelo ARCS

Atenção	Relevância
O objetivo desta categoria é de manter a atenção do aluno durante o período de aprendizagem	O objetivo desta categoria é de que o aluno consiga acreditar que o conteúdo se relaciona com seus objetivos pessoais, podendo ser acadêmico ou profissional, e se sinta conectado a este contexto
Confiança	Satisfação
Esta categoria tem como objetivo mostrar que a motivação pode ser proporcionada a partir dos esforços exercidos no uso das suas habilidades	Esta categoria tem como objetivo mostrar que a motivação envolve os alunos terem sentimentos positivos, a partir de exercícios que consigam comprovar a sua competência

²⁰attention, relevance, confidence, satisfaction

Em relação as dimensões percebidas nos modelos descritos anteriormente, podemos observar que elas consistem da área técnica, das experiências proporcionadas e no olhar voltado a aprendizagem. Sendo assim, no que se refere a dimensão técnica vista pela usabilidade, podemos considerar que a usabilidade “é um termo referente a uma amplitude de métodos que avaliam a interação do usuário com as interfaces de produtos e sistemas”.²¹ Ou seja, o seu olhar avaliativo está voltado para como o sistema se comunica com o usuário, a facilidade de aprender a usá-lo, e a sua eficiência durante o uso.²² Assim a experiência de usuário não possui o foco nos benefícios que o produto oferece, mas na experiência que ele proporciona,⁵ como por exemplo reações, atitudes e a capacidade de ter sucesso com eficiência²³ e em relação a aprendizagem, aspectos que ajudem o usuário a chegar a compreensão de determinado conteúdo.

Por outro lado, a taxonomia digital de Bloom (TDB) se encaixa como uma versão atualizada da taxonomia de Bloom revisada,²⁴ visando a incorporação das tecnologias digitais da informação e comunicação (TDIC) em sala de aula. Todavia, esta adaptação não se concentra na própria TDIC, mas em como ela pode atender os objetivos de aprendizagem, a partir da estrutura hierárquica da TDB (lembrar, entender, aplicar, analisar, avaliar e criar).²⁵ Dentro dessa perspectiva, para alcançar os níveis da taxonomia, o autor faz a associação entre o comportamento que se espera dos estudantes e as ações digitais que foram realizadas a partir do uso das tecnologias (Quadro 2).

Quadro 2
Descrição dos níveis de aprendizagem segundo a taxonomia de Bloom (revisada e digital)

Nível	Descrição	Verbos	Ações digitais
Lembrar	Está ligado a alguma informação do conteúdo que foi possível recordar	Relembrar, recuperar, reconhecer	Marcar favoritos, participar de redes sociais, realizar buscas “googlar”, enviar mensagens de texto
Entender	Está associado ao aluno conseguir reproduzir o conteúdo aprendido com suas “próprias palavras”	Interpretar, resumir, inferir, parafrasear, classificar	Realizar pesquisas avançadas, postar em um blog, classificar categorias e tags, participar de chat, comunicar-se via e-mail
Aplicar	Aplicar um conhecimento a uma nova situação, ou executá-la em uma situação específica	Implementar, desempenhar, usar, executar	Executar e operar hardware e aplicativos de computador, jogar, enviar e compartilhar
Analisar	Conseguir dividir a informação, e fazer associação entre as partes menos e mais relevantes	Comparar, organizar, atribuir, integrar	Recombinar, fazer ligações, reunir-se em rede, realizar videoconferência
Avaliar	Conseguir realizar julgamentos baseados em critérios de eficiência e eficácia	Revisar, formular hipóteses, criticar, experimentar, julgar	Postar e refletir comentários em blog e vlog, publicar, colaborar e trabalhar na rede, debater
Criar	Conseguir criar uma nova estrutura para aquilo que se foi aprendido, a partir dos conhecimentos previamente adquiridos	Construir, planejar, produzir, elaborar	Programar, filmar, animar, blogar, vídeoblogar, mesclar, participar em wiki (wiking), publicar, vídeocasting, podcasting

²⁵²⁶²⁷

Sendo assim, esta pesquisa teve como objetivo desenvolver um novo modelo de avaliação de aplicativos educacionais, baseando-se nos modelos de avaliação de jogos educacionais digitais existentes, além de avaliar os aplicativos de química orgânica disponíveis através do modelo proposto. Ressalta-se que o modelo não estará focado exclusivamente na avaliação dos JED, mas de se constituir um modelo para a avaliação de qualquer tipo de aplicativo, tendo em vista a variedade de apps educacionais existentes que podem ou não possuir características de um jogo, e sendo também o próprio jogo um tipo de aplicativo.¹⁴

PERCURSO METODOLÓGICO

De caráter qualitativo, a pesquisa busca obter informações sobre as características dos apps de química orgânica e descritiva por ter “[...] como objetivo a descrição das características de determinada população ou fenômeno. [...] com a finalidade de estabelecer possíveis relações entre variáveis”.²⁸ Além disso, segue os padrões do tipo levantamento ao proporcionar um conhecimento direto da realidade por meio da obtenção de dados.²⁹ Segundo Gil,²⁸ as pesquisas de levantamento são adequadas para estudos descritivos ao possibilitar o trabalho a partir de uma amostra do universo investigado, ou seja, por meio de “uma pequena parte dos elementos que compõem o universo”,²⁸ no caso desta pesquisa, esta parte dos elementos são os apps de química orgânica disponíveis na Google Play®.

Desse modo, a pesquisa foi realizada em quatro etapas: (i) levantamento sobre os apps de química orgânica disponíveis na Google Play^® através do corpus latente;³⁰ (ii) levantamento de modelos e instrumentos de avaliação de jogos digitais educacionais na plataforma do Google Acadêmico; (iii) elaboração de um modelo para avaliação de apps; (iv) análise dos apps de química encontrados no corpus latente, segundo o modelo para avaliação de apps proposto.

Na primeira etapa foi realizado um levantamento dos aplicativos disponíveis na Google Play® a partir do corpus latente. No estudo sobre o corpus latente de conteúdo na internet, uma vez estabelecido a fonte de dados, uma amostra dos dados é analisada, uma vez que não é possível analisar toda a população.³⁰ Para esta pesquisa, os apps envolvendo a química orgânica foram considerados. Essa escolha se justifica, pois, a maior parte dos apps de química disponíveis estão relacionados ao estudo da química orgânica.¹⁵ Tendo em vista a diversidade de apps associados ao estudo da química orgânica, seria de grande valia analisar quais os apps possuem estratégias que colaboram para o ensino e aprendizagem da química orgânica. Destarte, no levantamento foram utilizadas as palavras-chaves: “química orgânica”, “orgânica”, “organic chemistry”, “funções orgânicas”, “nomenclatura orgânica”, “reações orgânicas”, tendo em vista que são palavras que estão inseridas no contexto da química orgânica e que auxiliaram na identificação dos apps. Em seguida foi realizada a análise das descrições dos apps para evidenciar o conteúdo presente nestes, posteriormente, como critério de seleção, apenas apps em língua portuguesa e inglesa gratuitos foram baixados.

Em relação a segunda etapa, buscou-se investigar inicialmente os tipos de avaliação para apps presentes na literatura. Assim, foi realizada uma busca sobre modelos de avaliação para JED/aplicativos, com o intuito de identificar as lacunas relacionadas aos instrumentos de avaliação de JED/aplicativos. Destarte, no levantamento realizado na plataforma Google Acadêmico foram utilizadas as palavras-chaves: “modelo de avaliação de jogo digital”, “avaliação de jogo eletrônico”, “modelo de avaliação de jogo digital com finalidade educativa” e suas variantes no plural (por exemplo, jogos digitais, jogos eletrônicos, etc.) e de termos correlatos (game, jogos sérios, etc.). Posteriormente, a seleção de trabalhos que possuem dimensões técnicas e pedagógicas, como também requisitos dentro dessas dimensões com potencial para serem usados ou adaptados para todos os tipos de apps educacionais e não somente os jogos digitais foi realizada.

A partir da busca realizada se iniciou a terceira etapa, voltada para a proposição do modelo de avaliação de aplicativos educativos (MAAE) fundamentado em critérios adotados em pesquisas da área relacionadas a modelos de avaliação de JED e/ou aplicativos. Tendo em vista que critérios são “indicadores de mérito que definem as características de um programa ou de uma implementação bem-sucedida”.³¹ A elaboração deste modelo visa contribuir para a escolha de aplicativos educacionais por professores e estudantes.

A quarta etapa consistiu na análise dos apps de química orgânica encontrados no corpus latente através dos critérios e requisitos estabelecidos a partir das etapas anteriores na construção do modelo proposto. Assim, através desta análise, identificar características que possam contribuir para o processo de ensino e aprendizagem através do modelo de avaliação de aplicativos educativos.

RESULTADOS E DISCUSSÃO

Nesta seção apresentamos os resultados encontrados durante a pesquisa. Destacam-se nos resultados a seguir os aplicativos que foram encontrados após o levantamento e como eles se dispõem em níveis de ensino e temas, os modelos de jogos educacionais digitais (JED) usados para a avaliação e a análise dos apps através do modelo de avaliação de aplicativos educacionais (MAAE). Em relação aos aplicativos encontrados por meio do corpus latente, organizamos os apps que atendem os requisitos de cada categoria apresentada a partir de sua análise.

No que diz respeito ao levantamento dos apps de química orgânica disponíveis na Google Play^® (Etapa 1), a pesquisa revelou a existência de uma diversidade de apps gratuitos disponíveis voltados para a química orgânica, corroborando com os achados na literatura.¹⁴,¹⁵ No total foram encontrados 29 apps (Quadro 3), sendo 28 ativos e apenas um apresentava instabilidade (por exemplo, erros na abertura impossibilitando uso), desse modo sendo desconsiderado.

Quadro 3
Aplicativos de química orgânica da GooglePlay^®

Logo	Nome do app	Logo	Nome do app	Logo	Nome do app
	1. Modelar		11. Funções Orgânicas		21. Química Quiz
	2. Organic Chemistry Named Reacti		12. Reações Orgânicas		22. Reaction Flash
	3. Organic Chemistry Practice		13. IUPAC Nomenclature Chemistry		23. Nomenclatura Orgânica
	4. Organic Chemistry Challenge		14. Organic Reactions		24. Chemical Nomenclature
	5. Organic Chemistry Quiz		15. Nomenclature Neptune		25. Nomenclatura Química Orgânica
	6. University Organic Chemistry		16. Química Orgânica I		26. Organic Compound Identifier
	7. Hidrocarbonetos: As Estruturas		17. Nomenclatura Orgânica		27. KingDraw: Chemistry Station
	8. Funções Orgânicas - O Quiz		18. Funções Orgânicas em Química		28. Aminoácidos
	9. Organic Chemistry Formula EBOO		19. Ácidos Carboxílicos e Ésteres		29. Organic Chemistry Conversions
	10. Organic Chemistry Flashcards		20.Organic Chemistry Basics

Fonte: Dados da pesquisa.

Os aplicativos apresentavam variados temas relacionados a química orgânica, sendo 20 com temas abordados no ensino médio e 8 com ênfase no ensino superior. Desses apps, 16 do nível médio apresentam características de jogos e apenas 4 não apresentam, já no nível superior apenas 4 dos 8 encontrados não apresentam características de jogo.

Considerando os apps encontrados nesta pesquisa (Quadro 3), classificamos em cinco categorias: química orgânica geral (quando aborda conceitos gerais da química orgânica), reações orgânicas (envolvendo os diferentes tipos de reações orgânicas), estruturas químicas (aplicativos que abordam a construção de estruturas, incluindo a realidade aumentada), funções orgânicas (aplicativos relacionados aos tipos de funções orgânicas) e nomenclatura dos compostos orgânicos. Dentro desses temas encontrados, ainda foi possível definir que os temas de química orgânica, estruturas químicas, funções orgânicas e nomenclatura estão voltados para o nível do ensino médio. Já o tema envolvendo as reações orgânicas está mais vinculado ao ensino superior, conforme os dados da pesquisa. É importante destacar que o sistema do Google Play^® é dinâmico, assim nem sempre ele fornece todos os aplicativos disponíveis em seu banco de dados.¹⁴

Modelo avaliativo de aplicativos educacionais (MAAE)

Na proposição do modelo avaliativo de aplicativos educacionais buscamos utilizar requisitos para avaliar apps de química que apresentam tanto características técnicas, quanto educacionais, mantendo o equilíbrio entre elas. Nesse sentido, para a elaboração do modelo avaliativo de apps (etapa iii) foi realizada uma análise nos instrumentos de avaliação de jogos digitais e apps disponíveis na literatura. Estes instrumentos foram encontrados no Google Acadêmico a partir do uso das palavras-chave descritas na segunda etapa da pesquisa (seção Percurso Medodológico).

Os resultados revelaram 26 trabalhos que tratavam sobre avaliação de JED. Esses trabalhos destacavam propostas/instrumentos de avaliação de JED e/ou seu uso. Na análise destes modelos/instrumentos, observamos que alguns apresentavam similaridades de características e/ou elementos avaliativos idênticos. Desse modo, realizamos uma análise entre os elementos presentes nos 26 trabalhos identificados, em que foi possível selecionar 3 modelos/instrumentos que abarcavam um número significativo de diferentes elementos de avaliação de JED quando comparados entre si (entre os 26).

O primeiro modelo utilizado como base para elaboração de um novo modelo de avaliação de JDE/aplicativos foi o instrumento de avaliação da qualidade de jogos digitais com finalidade educativa (IAQJED)⁴ que apresenta três dimensões: a usabilidade, a experiência do usuário e os princípios de aprendizagem (Quadro 4). Nesta pesquisa, essas três dimensões serão usadas como categorias para definir os fundamentos da avaliação do MAAE.

Quadro 4
Dimensões do instrumento de avaliação da qualidade de jogos digitais com finalidade educativa (IAQJED)

Usabilidade	Experiência de usuário	Princípios de aprendizagem
Esta categoria está relacionada com o desenvolvimento do aplicativo enquanto mídia. A interação com os botões, menus, a funcionalidade e eficiência do aplicativo	Esta categoria está relacionada com a interação com o aplicativo, a relevância dele, e se o mesmo promove uma experiência agradável durante o seu desenvolvimento na hora do uso	Esta categoria está relacionada ao desenvolvimento do aluno em relação a compreensão, resolução de problemas, a assimilação do conteúdo, e como essa aprendizagem está estruturada

⁴

O segundo modelo utilizado para o aprofundamento desses fundamentos foi o instrumento de avaliação de jogos para uso em educação (IAJUE),¹⁹ em que as autoras propõem a análise de três requisitos importantes referentes a interface de um jogo educacional, sendo eles: a clareza das informações visuais, a facilidade de navegação e a ausência de erros técnicos. Nesta pesquisa, esses requisitos serão usados na categoria de usabilidade, tendo em vista que os mesmos podem ser utilizados para a análise do aplicativo como um todo e não apenas do jogo. Além disso, quatro requisitos observados na categoria pedagógica do modelo IAJUE (adequação da linguagem, alinhamento com os objetivos de aprendizagem, estímulo a resolução de problemas e fornecimento do feedback) entram na categoria de princípios de aprendizagem do MAAE.

O terceiro modelo contribuiu na organização da categoria experiência do usuário e foi fundamentado no modelo de avaliação de jogos educacionais,⁵ na qual dois requisitos foram utilizados: relevância e interação. O requisito relevância, adotado pelo modelo ARCS, possui como foco principal a interação dos estudantes no ambiente de aprendizagem.²⁰ Já o requisito interação é baseado em alguns aspectos da definição de experiência de usuário proposta pelo IAQJED.⁴ O terceiro requisito desta categoria (experiência do usuário), desenvolvimento, foi baseado no critério desenvolvimento do jogador abordado no instrumento de avaliação de jogos para uso em educação.⁴

No sentido de reduzir as lacunas observadas em nosso levantamento nos modelos de avaliação de JDE/aplicativos, acrescentamos na categoria princípios de aprendizagem a taxonomia digital de Bloom como último item para avaliação.

Considerando que os modelos de avaliação existentes para a avaliação de aplicativos, disponíveis na literatura, não contemplavam algumas especificidades, assim a partir destes modelos foi proposto um modelo adaptado para avaliação de aplicativos (Quadro 5).

Quadro 5
Modelo de avaliação de aplicativos educacionais

Categoria	Requisito	Definição
Usabilidade	(i) Clareza das informações visuais	Conseguir entender com clareza, as informações propostas pela interface de cada segmento do aplicativo
	(ii) Facilidade de navegação	Facilidade no uso de botões, do menu, da passagem de uma opção para outra, da abertura do aplicativo
	(iii) Ausência de erros técnicos	Observar se o aplicativo consegue se desenvolver por inteiro sem ausência de erros de desenvolvimento
Experiência de usuário	(i) Relevância	Analisar a importância do conteúdo abordado, e em que aspectos ele pode fazer conexões com os objetivos futuros do aluno no meio acadêmico ou profissional, e associação dos seus conhecimentos prévios com o conteúdo
	(ii) Interação	Observar o quanto os app necessita da interação do usuário, na escolha de opções, entre outros tipos de interação
	(iii) Desenvolvimento	Observar se o app propõe níveis de desenvolvimento em relação ao conteúdo abordado, adotando níveis (fácil, médio, difícil)
Princípios de aprendizagem	(i) Adequação da linguagem	Observar se a linguagem proposta é de fácil compreensão
	(ii) Alinhamento com os objetivos de aprendizagem	Observar se o app cumpre com os objetivos propostos pelo desenvolvedor na página do Google Play®
	(iii) Estímulo a resolução de problemas	Observar se o app propõe o estímulo a resolução de problemas baseados em todas as áreas do conteúdo
	(iv) Fornecimento do feedback	Observar se após cada resposta dada a partir da interação com o app através de perguntas relacionadas com o conteúdo, ele propõe o feedback de erros e acertos
	(v) Taxonomia digital de Bloom	Analisar a estrutura do app a partir dos requisitos propostos pelo domínio cognitivo: lembrar, entender, aplicar, analisar, avaliar e criar

Fonte: Elaborado pelos autores.

As adaptações se deram primeiramente ao requisito “alinhamento com os objetivos de aprendizagem” da categoria princípios de aprendizagem. Este requisito foi avaliado pelas autoras como uma das “estratégias que mobilizem processos de aprendizagem e promovam o desenvolvimento cognitivo e social do sujeito”,¹⁹ em contrapartida, no MAAE o alinhamento se dá entre aquilo que é encontrado no app e o que é proposto pelo desenvolvedor na descrição mostrada na plataforma. O segundo requisito que sofreu adaptações, que também pertence ao IAJUE¹⁹ foi o de desenvolvimento na categoria experiência do usuário. As autoras citam o requisito como “desenvolvimento do jogador”, porém no MAAE o desenvolvimento tem um olhar para os níveis dentro do conteúdo e se o app subdivide-o em nível fácil, médio e difícil. E a última adaptação foi feita no requisito interação da categoria experiência de usuário. Este requisito proposto no modelo IAQJED⁴ visa a interação apenas com o jogo, contudo no MAAE a interação será dada de forma geral, na escolha de opções da interface, nas respostas dadas durante os quizzes, entre outros aspectos que os apps podem necessitar para o seu uso.

Desse modo, na próxima seção serão apresentadas as análises dos apps de química orgânica encontrados no corpus latente, segundo modelo avaliativo de aplicativos educacionais (etapa iv), proposto nesta pesquisa.

Análise dos aplicativos de química orgânica segundo o MAAE

As análises a seguir, feitas através do modelo de avaliação de aplicativos educacionais (MAAE), estão organizadas através das três categorias descritas no modelo: usabilidade, experiência de usuário e princípios de aprendizagem. As análises foram realizadas no período de setembro de 2022 a junho de 2023 pelos autores. Nesse sentido, apresentamos como cada aplicativo encontrado na etapa (i) foi avaliado nas três categorias do MAAE (etapa iv).

Categoria I: usabilidade

A usabilidade pode ser definida como a capacidade que um produto de software tem, quando usado sob condições particulares, de ser aprendido, compreendido e assim atraente ao usuário. Deste modo, a usabilidade torna-se um critério relevante na avaliação de aplicativos e que está fortemente associada com a experiência do usuário.⁴ Todavia, a avaliação da experiência do usuário inclui aspectos hedônicos e subjetivos, já a usabilidade enfatiza na sua avaliação a eficácia e a eficiência.

No MAAE, na categoria de usabilidade, o primeiro requisito analisado foi o da clareza nas informações visuais, considerando que é de muita importância que o usuário entenda a proposta do aplicativo e consiga a partir dessas informações, tomar decisões e imergir dentro dele. Podemos inferir nos aplicativos avaliados que essa clareza pode ser observada nos desenhos dos ícones, nos títulos que acompanham os demais ícones da interface e em alguns casos, no título do aplicativo. Na avaliação desta categoria, todos os 28 aplicativos atendem a este requisito.

O segundo requisito mencionado no MAAE (Quadro 5) é a facilidade na navegação. Um requisito bastante importante na usabilidade. Porém, o que pode prejudicar na navegação, muitas vezes é a presença de propaganda, que aparece em determinados momentos na interface do aplicativo, quando algum botão demora para responder ou ele está em uma parte da interface que não é fácil de localizar. Nos 28 aplicativos avaliados, percebemos que o que torna a sua navegação “leve” é a resposta rápida dos botões, a abertura rápida do aplicativo e a ausência de propagandas. Destarte, 27 aplicativos contemplam este requisito, apenas o aplicativo 27 (Tabela 3) ficou de fora.

O terceiro requisito aborda a ausência de erros técnicos. Nos 28 aplicativos analisados, observamos por meio do MAAE que 22 apps conseguem apresentar uma experiência completa sem a apresentação de erros. Cabe ressaltar que os apps que não se enquadraram neste requisito possuem falhas principalmente na abertura, botões que demoravam para responder aos comandos ou às vezes, durante o uso, o aplicativo fechava repentinamente, sendo eles os apps 1, 7, 16, 17, 19 e 27 (Tabela 3).

Categoria II: experiência do usuário

A categoria experiência de usuário é um fator que pode englobar vários aspectos dentro do aplicativo. Pois, “quando se avalia a experiência de usuário o foco está relacionado a experiência de interagir com o sistema, ou seja, quão satisfatória, agradável ou motivadora é a interação”.⁴

O primeiro requisito abordado nessa categoria é a relevância do aplicativo (Quadro 3). O intuito deste requisito é saber onde o assunto abordado faz conexões com o usuário e seus objetivos e se ele faz associações com seus conhecimentos prévios. Considerando que “o aluno também precisa perceber que a proposta educacional seja consistente com seus objetivos, que ele consiga conectar o conteúdo da aprendizagem com seu futuro profissional ou acadêmico”.⁵ Nos aplicativos analisados não foi possível encontrar algum que se encaixe neste requisito ou em alguns dos aspectos propostos pelo requisito.

O segundo requisito nesta categoria é a interação. Percebemos entre os apps analisados que aqueles que fornecem a maior interação são os do tipo “quiz”, sendo caracterizados como um jogo digital. Por causa dos elementos atrativos e capazes de manter um jogador por muito tempo em frente a tela, os jogos digitais são comumente criticados e associados a uma atividade de entretenimento.¹⁴ Nestes apps, a interação depende principalmente das escolhas feitas pelo usuário e em seguida pelo feedback proporcionado pelo aplicativo, que pode ser feito automaticamente após a escolha ou no fim de cada questionário que pode ser notado por uma mensagem, cor ou som específico. Dos 28 aplicativos analisados, 17 apps apresentavam este requisito presente no MAAE, ficando de fora os apps 1, 2, 12, 14, 16, 17, 20, 22, 26 e 27 (Quadro 3).

O terceiro e último requisito desta categoria é o desenvolvimento. Dentro desse requisito há dois aspectos importantes: níveis de interação e aprendizagem, que dividem o conteúdo em fácil, médio e difícil. Na maior parte apps analisados, observamos por meio do MAAE que a interação e a aprendizagem não estão diretamente categorizadas em níveis, mas apenas em como o tema se subdivide, oferecendo ao usuário a escolha do que quer aprender. Em contrapartida, há apps que apresentam tanto as subdivisões do tema abordado, quanto os níveis, fazendo com que o usuário possua a experiência completa do app, e não só de determinada opção. Sendo assim, dos 28 apps investigados, os que não apresentam os níveis de desenvolvimento são: 1, 2, 8, 10, 12, 14, 16, 17, 20, 22, 26 e 27 (Quadro 3).

Categoria III: princípios de aprendizagem

Esta categoria valoriza as questões educacionais propostas por cada aplicativo. É importante que o app seja usado da maneira adequada de acordo com cada realidade, tendo em vista que, os apps possuem o intuito de fortalecer os processos de ensino e aprendizagem em qualquer hora e local, dentro e fora do âmbito escolar.³² Desse modo, é interessante que o professor norteie o uso do mesmo, “tendo em vista, que a construção do conhecimento no âmbito escolar é um fator realizado em conjunto entre professor-estudante”.³²

O primeiro requisito desta categoria no MAAE é adequação da linguagem. Este requisito tem o intuito de observar se a linguagem abordada pelos apps é de fácil compreensão. De acordo com a análise realizada através do MAAE, 26 apps adotam esse requisito, e apenas os apps 26 e 27 não adotam (Quadro 3).

O segundo requisito abordado é o alinhamento com os objetivos de aprendizagem. É possível notar na Google Play^® que o próprio desenvolvedor inclui na descrição do aplicativo os temas abordados, além do objetivo do mesmo. Nos 28 apps analisados, observamos que todos possuem esse alinhamento proposto pelo desenvolvedor na plataforma.

O terceiro requisito inclui a análise de aplicativos que estimulam a resolução de problemas. Nos apps analisados pelo MAAE, percebemos que este requisito se aplica nos aplicativos que apresentam o quiz, que é um jogo que envolve perguntas e respostas com o intuito de verificar os conhecimentos os participantes sobre determinado assunto. Entre os aplicativos investigados, há alguns que possuem uma breve revisão do conteúdo antes da aplicação do quiz e outros que não possuem essas características. Observamos que 19 apps se alinham a este requisito, sendo aqueles que não se alinham: 1, 2, 12, 14, 16, 17, 20, 26 e 27 (Quadro 3). Assim como o terceiro, o quarto requisito, também está inserido na perspectiva do quiz. Neste caso, trata-se de verificar se o app possui o intuito de avaliar o conhecimento dos participantes a partir de perguntas e respostas, em que o fornecimento de feedback demonstra grande valia para essa verificação. Dezenove apps atenderam a este requisito e os apps 1, 2, 12, 14, 16, 17, 20, 26 e 27 não atenderam (Quadro 3).

No que se refere a taxonomia digital de Bloom, quinto requisito da categoria princípios de aprendizagem (Quadro 3), dos 28 apps analisados, apenas 25 conseguem atingir a primeira categoria: Lembrar. Os apps que não atendem esta categoria foram: 1, 26 e 27 (Quadro 3). A partir do MAAE, não foram observados apps no segundo nível (Entender) da taxonomia digital de Bloom, isto é, nenhum dos 25 apps conseguiram atingir as ações digitais esperadas para o segundo nível “Entender” da TDB.

Sendo assim, a partir das análises realizadas através do MAAE, o Quadro 6 apresenta uma síntese dos 28 aplicativos analisados e as categorias e requisitos que foram identificados nos aplicativos de química orgânica.

Quadro 6
Quantidade de apps que atendem o MAAE

Categoria	Requisito	Quantidade de aplicativos
Usabilidade	(i) Clareza das informações visuais	28 aplicativos
	(ii) Facilidade de navegação	27 aplicativos
	(iii) Ausência de erros técnicos	22 aplicativos
Experiência de usuário	(i) Relevância	zero aplicativos
	(ii) Interação	17 aplicativos
	(iii) Desenvolvimento	16 aplicativos
Princípios de aprendizagem	(i) Adequação da linguagem	26 aplicativos
	(ii) Alinhamento com os objetivos de aprendizagem	28 aplicativos
	(iii) Estímulo a resolução de problemas	19 aplicativos
	(iv) Fornecimento do feedback	19 aplicativos
	(v) Taxonomia digital de Bloom	25 aplicativos atingem apenas a primeira categoria: Lembrar

Fonte: Elaborados pelos autores.

CONSIDERAÇÕES FINAIS

Esta pesquisa apresentou a elaboração de um novo modelo de avaliação para aplicativos educacionais baseado em critérios presentes em modelos de avaliação de JED disponíveis na literatura.

Para isso, a partir de um estado da arte dos modelos de avaliação para JED/aplicativos, analisou-se três modelos que têm sido utilizados em pesquisas que envolvem os JDE: (a) instrumento de avaliação da qualidade de jogos digitais com finalidade educativa (IAQJED),⁴ (b) instrumento de avaliação de jogos para uso em educação (IAJUE),¹⁹ (c) modelo ARCS²⁰ visto na proposta de um modelo de avaliação de jogos educacionais.⁵ Estes modelos serviram como base para a criação do modelo de avaliação de aplicativos educacionais (MAAE), que considera as seguintes dimensões: usabilidade, experiência de usuário e princípios de aprendizagem. O MAAE, além de apresentar as três dimensões, foi alicerçado no domínio cognitivo da taxonomia digital de Bloom (lembrar, entender, aplicar, analisar, avaliar e criar),²⁵ apresentando uma nova dimensão para avaliação de JED/aplicativos educacionais.

Constituído de três dimensões (categorias) e 11 requisitos, o MAAE objetiva contribuir para a avaliação de JED e/ou aplicativos educacionais de diferentes áreas do conhecimento. Nesse sentido, a pesquisa analisou os aplicativos de química orgânica disponíveis na Google Play^® a partir do MAAE, identificando cada requisito das três dimensões (usabilidade, experiência de usuário e princípios de aprendizagem) presente em 28 aplicativos identificados.

Por fim, acreditamos que o MAAE poderá ser incluído como uma alternativa para a escolha de aplicativos educacionais por docentes que, por vezes, se sintam inseguros quanto as características dos aplicativos que irão utilizar em suas atividades pedagógicas e se estes aplicativos irão atender as suas necessidades nos processos de ensino e aprendizagem, independente da disciplina.

MATERIAL SUPLEMENTAR

O material completar com as análises dos 29 aplicativos de química orgânica avaliados pelo MAAE e descritos nesse artigo está disponível em http://quimicanova.sbq.org.br, em formato PDF, com acesso livre.

AGRADECIMENTOS

Ao CNPq (proc. 422587/2021-4), FACEPE (proc. APQ-0916-7.08/22), LEUTEQ, ao PIBIC-Ações afirmativas/UFRPE e ao Instituto IPÊ/UFRPE.

REFERÊNCIAS

• ¹
  Leite, B. S.; Revista Brasileira de Informática na Educação 2014, 22, 55. [Crossref]
  » [Crossref]
• ²
  Sá, E. J. V.; Teixeira, J. S. F.; Fernandes, C. T.; Simpósio Brasileiro de Informática na Educação-SBIE; São Paulo, Brasil, 2007. [Link] acessado em Fevereiro 2024
  » Link
• ³
  Savi, R.; Ulbricht, V. R.; Renote 2008, 6, 1. [Crossref]
  » [Crossref]
• ⁴
  Coutinho, I. J.; Alves, L. R. G.; Anais do 39º Congresso Brasileiro de Ciências da Comunicação; São Paulo, Brasil, 2016, p. 3, 7. [Link] acessado em Janeiro 2024
  » Link
• ⁵
  Savi, R.; Von Wangenheim, C. G.; Ulbricht, V.; Vanzin, T.; Renote 2010, 8, 1. [Crossref]
  » [Crossref]
• ⁶
  Santos, W. D.; Alves, L. R. G.; Anais do XIII Seminário de Jogos Eletrônicos, Educação e Comunicação; Aracajú, Brasil, 2019. [Link] acessado em Fevereiro 2024
  » Link
• ⁷
  Nichele, A. G.; Canto, L. Z.; Renote 2016, 14, 1. [Crossref]
  » [Crossref]
• ⁸
  Pascoin, A. F.; Carvalho, J. W. P.; Souto, D. L. P.; Revista Signos 2019, 40, 208. [Crossref]
  » [Crossref]
• ⁹
  Oliveira, F. C.; Milani Júnior, J.; Carvalho, J. W. P.; Revista Educação e Cultura Contemporânea 2020, 17, 86. [Crossref]
  » [Crossref]
• ¹⁰
  Silva, P. F.; Silva, T. P.; Silva, G. N.; Revista Tecnologias na Educação 2015, 13, 1. [Link] acessado em Fevereiro 2024
  » Link
• ¹¹
  Souza, J. I. R.; Leite, Q. S. S.; Leite, B. S.; Revista Docência do Ensino Superior 2015, 5, 135. [Crossref]
  » [Crossref]
• ¹²
  Pazinato, M. S.; Braibante, H. T.; Braibante, M. E.; Trevisan, M. C.; Silva, G. S.; Quim. Nova Esc. 2012, 34, 21. [Link] acessado em Fevereiro 2024
  » Link
• ¹³
  Roque, N. F.; Silva, J. L. P. B.; Quim. Nova 2008, 31, 921. [Crossref]
  » [Crossref]
• ¹⁴
  Leite, B. S.; Ciências em Foco 2020, 13, e020013. [Link] acessado em Fevereiro 2024
  » Link
• ¹⁵
  Nichele, A. G.; Schlemmer, E.; Renote 2014, 12, 1. [Crossref]
  » [Crossref]
• ¹⁶
  Arjoranta, J.; The Computer Games Journal 2019, 8, 109 [Crossref]; Atherton, G.; Cross, L.; Frontiers in Psychology 2021, 12, 3049 [Crossref]; Steinkeller, A. V.; Grosse, G.; Computers in Human Behavior Reports 2022, 6, 100195. [Crossref]
  » [Crossref]» [Crossref]» [Crossref]
• ¹⁷
  Soares, M. H. F. B.; Mesquita, N. A. S. Em Jogo Pedagógico, Jogo Digital e Gamificação: Iguais ou Diferentes?; Leite, B. S., ed.; Livraria da Física: São Paulo, 2022, cap. 6.
• ¹⁸
  Anastasiadis, T.; Lampropoulos, G.; Siakas, K.; International Journal of Advances in Scientific Research and Engineering 2018, 4, 139. [Crossref]
  » [Crossref]
• ¹⁹
  Vilarinho, L. R. G.; Leite, M. P.; Renote 2015, 13, 1. [Crossref]
  » [Crossref]
• ²⁰
  Keller, J. M.; Motivational Design for Learning and Performance: The ARCS Model Approach, 2010^th ed.; Springer: New York, 2010, cap. 4. [Crossref]
  » [Crossref]
• ²¹
  Oliveira, M.; Seabra, R. D.; Mattedi, A. P.; Revista de Sistemas e Computação-RSC 2019, 8, 262. [Link] acessado em Fevereiro 2024
  » Link
• ²²
  Alpkaya, S.; Sakarya, C. Em Design, User Experience, and Usability. Web, Mobile, and Product Design. DUXU 2013. Lecture Notes in Computer Science, vol 8015; Marcus, A., ed.; Springer: Berlim, 2013, p. 84. [Crossref]
  » [Crossref]
• ²³
  Tullis, T.; Albert, W.; Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics, 1^st ed.; Morgan Kaufmann: Massachusetts, 2008.
• ²⁴
  Anderson, L. W.; Krathwohl, D. R.; A Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives; Illustrated ed.; Longman: New York, 2001.
• ²⁵
  Churches, A.; Eduteka 2009, 1. [Link] acessado em Fevereiro 2024
  » Link
• ²⁶
  Faraum Júnior, D. P.; Cirino, M. M.; Ciência & Educação (Bauru) 2020, 26, 1. [Crossref]
  » [Crossref]
• ²⁷
  Ferraz, A. P. C. M.; Belhot, R. V.; Gestão & Produção 2010, 17, 421. [Crossref]
  » [Crossref]
• ²⁸
  Gil, A. C.; Como Elaborar Projetos de Pesquisa, 6ª ed.; Atlas: São Paulo, 2017, p. 26, 100.
• ²⁹
  Gerhardt, T. E.; Silveira, D. T.; Métodos de Pesquisa, 1ª ed.; Editora da UFRGS: Porto Alegre, 2009.
• ³⁰
  Pina, A. R. B.; Souza, F. N.; Leão, M. C.; Reveduc 2013, 7, 301. [Crossref]
  » [Crossref]
• ³¹
  Whorten, B. R.; Sanders, J. R.; Fitzpatrick, J. L.; Avaliação de Programas: Concepções e Práticas, 1ª ed.; EDUSP: São Paulo, 2004, p. 695.
• ³²
  Sonego, A. H. S.; Behar, P. A.; Nuevas Ideas en Informática Educativa TISE 2015, 11, 521. [Link] acessado em Fevereiro 2024
  » Link

Datas de Publicação

• Publicação nesta coleção
  15 Abr 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  04 Ago 2023
• Aceito
  15 Jan 2024
• Publicado
  18 Mar 2024