Acessibilidade / Reportar erro

EFEITO DA PADRONIZAÇÃO DOS CRITÉRIOS DE OBSERVAÇÃO E DE AVALIAÇÃO DA TÉCNICA DA BRAÇA DO NADO CRAWL NA CONFIABILIDADE INTER E INTRA AVALIADORES

RESUMO

Esse estudo teve por objetivo avaliar o efeito da padronização dos critérios de observação e de avaliação da técnica da braçada do nado crawl na confiabilidade inter e intra avaliadores para uma proposta de lista de observação. Dois professores e dois treinadores de natação competitiva com formação acadêmica diferentes foram responsáveis por avaliar a técnica da braçada do nado crawl de 44 nadadores por meio de vídeo. Cada nadador realizou um percurso de 25m em velocidade confortável tendo seu deslocamento gravado nos planos lateral e frontal, ambos submersos e fora d’água, nos 10 m finais da piscina. No percurso de filmagem os nadadores não realizaram a respiração lateral. Somente o movimento realizado pelo braço direito foi foco de observação dos avaliadores e com base em uma lista de verificação. Após as filmagens os avaliadores participaram de três etapas: na primeira etapa houve uma intervenção para padronização dos critérios de observação e de avaliação. Na segunda etapa testou-se a concordância inter-avaliadores e, na terceira, a concordância intra-avaliador. Na segunda etapa do estudo a concordância variou de pequeno a baixa (k=0,08 e k=0,38). Na terceira etapa alguns avaliadores apresentaram concordância pobre e baixa (k=-0,13 e k=0,35), enquanto outros apresentaram concordância entre razoável e praticamente perfeita (k=0,64 e k=0,87). A partir dos resultados apresentados concluiu-se que a proposta de intervenção não surtiu o efeito desejado de padronização dos critérios de observação e avaliação entre os avaliadores.

Palavras-chave:
Natação; Esporte; Avaliação e Pedagogia

ABSTRACT

This study aimed to assess the effect of standardizing observation and rating criteria for the front crawl stroke technique on inter- and intra-rater reliability in order to propose an observation list. Two teachers and two competitive swimming coaches with different academic backgrounds were responsible for evaluating the front crawl stroke technique of 44 swimmers using video. Each swimmer completed a 25m course at a comfortable speed, having their displacement recorded in the lateral and frontal planes, both submerged and out of water, in the final 10 m of the pool. Throughout the recording, the swimmers did not breath laterally. Only the movement performed by the right arm was the raters’ focus of observation and was based on a checklist. After the shooting, the raters participated in three stages: in the first stage, there was an intervention to standardize the observation and rating criteria; inter-rater agreement was tested in the second stage, while intra-rater agreement was obtained in the third. In the second stage of the study, the agreement ranged from small to low (k=0.08 and k=0.38). In the third stage, some raters showed poor and low agreement (k=-0.13 and k=0.35), while others showed agreement between reasonable and virtually perfect (k=0.64 and k=0.87). From the results presented, it was concluded that the intervention proposal did not have the desired effect of standardizing the observation and rating criteria among the raters.

Keywords:
Swimming; Sport; Rating and Pedagogy

Introdução

A técnica na natação é influenciada pela interação de diversos componentes11. da Silva LM, Giuliano AF, de Souza Castro FA. Ensino, aprendizagem e avaliação da técnica do eggbeater em aulas de natação. R. Bras. Ci. e Mov. 2016;24(2):138-45.. DOI: https://doi.org/10.18511/rbcm.v24i2.6187.
https://doi.org/10.18511/rbcm.v24i2.6187...
),(22. de Oliveira TA, Apolinário MR, Freudenheim AM, Corrêa UC. Análise sistêmica do nado crawl. Bra. Journ. of Motor Behav. 2009;4(1):15-21. Acesso em: 05 de março de 2022. DOI: https://doi.org/10.20338/bjmb.v4i1.20
https://doi.org/10.20338/bjmb.v4i1.20...
),(33. Silveira RP, de Souza Castro FA, Figueiredo P, Vilas-Boas JP, Zamparo P. The effects of leg kick on swimming speed and arm-stroke efficiency in the front crawl. Int J Sports Physiol Perform. 2017Jul;12(6):728-35. DOI: https://doi.org/10.1123/ijspp.2016-0232
https://doi.org/10.1123/ijspp.2016-0232...
Nesse sentido, procedimentos avaliativos são importantes no controle da aprendizagem44. Aleixo I, Vieira M. Análise do Feedback na instrução do treinador no ensino da Ginástica Artística. Motric. 2012[acesso em 06 mar 2021];8(2):849-59. Disponível em: https://www.proquest.com/openview/dc051d5d2e9f856ba7df3a756f88e560/1?pq-origsite=gscholar&cbl=616555
https://www.proquest.com/openview/dc051d...
),(55. Federolf P, Reid R, Gilgien M, Haugen P, Smith G. The application of principal component analysis to quantify technique in sports. Scand J Med Sci Sports. 2014Jun;24(3):491-9. DOI: https://doi.org/10.1111/j.1600-0838.2012.01455.x
https://doi.org/10.1111/j.1600-0838.2012...
e uma tarefa frequente dos professores. Essa avaliação ocorre a partir da observação do movimento realizado pelo aprendiz que, posteriormente, recebe sugestões de correção44. Aleixo I, Vieira M. Análise do Feedback na instrução do treinador no ensino da Ginástica Artística. Motric. 2012[acesso em 06 mar 2021];8(2):849-59. Disponível em: https://www.proquest.com/openview/dc051d5d2e9f856ba7df3a756f88e560/1?pq-origsite=gscholar&cbl=616555
https://www.proquest.com/openview/dc051d...
),(66. Lees A. Technique analysis in sports: a critical review. J Sports Sci. 2002Oct;20(10):813-28. DOI: https://doi.org/10.1080/026404102320675657
https://doi.org/10.1080/0264041023206756...
),(77. Rosado A, Virtuoso L, Mesquita I. Relação entre as competências de diagnóstico de erros das habilidades técnicas e a prescrição pedagógica no voleibol. Rev. Br. de Ed. Fis. Esp. 2004;18(2):151. DOI:https://doi.org/10.1590/S1807-55092004000200003
https://doi.org/10.1590/S1807-5509200400...
. Com essa finalidade, a literatura sugere a utilização de listas de verificação como instrumento de avaliação88. Canossa S, Fernandes RJ, Carmo C, Andrade A, Soares SM. Ensino multidisciplinar em natação: reflexão metodológica e proposta de lista de verificação. MotriC.. 2007;3(4):82-99. DOI: https://doi.org/10.6063/motricidade.656
https://doi.org/10.6063/motricidade.656...
),(99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
),(1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
para uma melhor análise dos componentes principais do movimento e adequado julgamento55. Federolf P, Reid R, Gilgien M, Haugen P, Smith G. The application of principal component analysis to quantify technique in sports. Scand J Med Sci Sports. 2014Jun;24(3):491-9. DOI: https://doi.org/10.1111/j.1600-0838.2012.01455.x
https://doi.org/10.1111/j.1600-0838.2012...
. Entretanto, a lista de verificação deve ser objetiva, ter validade, ser de fácil utilização e atender a exigências de confiabilidade 99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
),(1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
),(1212. Leandro C, Ávila-Carvalho L, Sierra-Palmeiro E, Bobo-Arce M. The evaluation rules in the view of the rhythmic gymnastics judges. Journ. of Sports. Sci. 2016;4:232-40. DOI: 10.17265/2332-7839/2016.04.007
https://doi.org/10.17265/2332-7839/2016....

A confiabilidade refere-se à condição de uma avalição ou uma medida apresentar resultados semelhantes em ocasiões diferentes, desde que não haja uma interferência com o objetivo de modificação do desempenho44. Aleixo I, Vieira M. Análise do Feedback na instrução do treinador no ensino da Ginástica Artística. Motric. 2012[acesso em 06 mar 2021];8(2):849-59. Disponível em: https://www.proquest.com/openview/dc051d5d2e9f856ba7df3a756f88e560/1?pq-origsite=gscholar&cbl=616555
https://www.proquest.com/openview/dc051d...
),(1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
),(1313. Currell K, Jeukendrup AE. Validity, reliability and sensitivity of measures of sporting performance. Sports Med. 2008;38(4):297-316. DOI: https://doi.org/10.2165/00007256-200838040-00003
https://doi.org/10.2165/00007256-2008380...
. Este é um procedimento importante que garantirá que os resultados dos avaliadores são consistente1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
),(1414. Peixoto JG, Dias AG, Miranda LM, Defilipo ÉC, Feitosa MB, Chagas PSdC. Análise de confiabilidade de medidas das pressões plantares estática e dinâmica de crianças e adolescentes com desenvolvimento normal. Fisioter e Pesqui. 2017;24:46-53. DOI: https://doi.org/10.1590/1809-2950/16222224012017
https://doi.org/10.1590/1809-2950/162222...
. Apesar da sua importância, estudos anteriores de avaliação da técnica em natação não obtiveram o sucesso desejado em todos os seus aspectos99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
),(1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
. Isso pode acontecer porque os critérios de observação e avaliação dos professores são diferentes e, apesar de serem particulares, parecem não ter consistência interna99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
. Em outras palavras, o professor não utiliza os mesmos critérios de observação e avaliação quando analisa um aluno por duas vezes seguidas em um curto espaço de tempo99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
.

Considerando os aspectos acima apresentados, o presente estudo justifica-se pela necessidade de elaboração de uma proposta de padronização para avaliação do processo de aprendizagem em natação. Tal padronização pode trazer significativos níveis de concordância intra e inter-avaliadores. Concordância essa que é importante na prática, pois ao terem critérios semelhantes de avaliação, facilitariam o processo de aprendizagem na natação. Os estudos em natação indicam que há uma tendência em se encontrar maior confiabilidade intra avaliador em professores com maior formação acadêmica e tempo de experiência99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
),(1515. Zamparo P, Carrara S, Cesari P. Movement evaluation of front crawl swimming: Technical skill versus aesthetic quality. PLoS One. 2017;12(9):e0184171. DOI: https://doi.org/10.1371/journal.pone.0184171
https://doi.org/10.1371/journal.pone.018...
. Entretanto, esses resultados não são completamente satisfatórios. Além disso, ao longo da aprendizagem da natação o aluno tem aulas com diferentes professores. Assim, torna-se imperativo que procedimentos sejam elaborados visando a maior confiabilidade do processo de observação e avaliação entre diferentes professores. Após investigações acerca do tema, apenas um estudo99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
se preocupou em oportunizar interação entre os professores avaliadores, discutindo os critérios de observação e avaliação adotados. Entretanto, essa interação não foi sistematizada e a hipótese de que ela poderia melhorar a confiabilidade inter e intra avaliadores não se confirmou plenamente.

Diante do exposto, o objetivo do presente estudo foi avaliar o efeito da padronização dos critérios de observação e de avaliação da técnica da braçada do nado crawl na confiabilidade inter e intra avaliadores. Como hipótese, foi estimado que a intervenção pré-avaliação, possibilitando análise e discussão organizada e sistematizada, fomentaria a padronização dos critérios de observação e de avaliação da técnica pelos professores.

Métodos

Amostra

Dois professores de natação e dois treinadores de natação competitiva - denominados como avaliadores, possuindo distintas formações acadêmicas e com o mínimo de três anos de experiência no ensino da natação, foram responsáveis por avaliar a técnica da braçada do nado crawl de 44 nadadores. Os nadadores (9 a 11 anos) de ambos os sexos foram selecionados aleatoriamente, estavam na etapa de aprendizagem/aperfeiçoamento da técnica dos nados e possuíam diferentes níveis de habilidade de nado. Todos os envolvidos na pesquisa (avaliadores e nadadores) receberam instruções orais e por escrito para a participação voluntária no presente estudo, o qual foi também aprovado pelo Comitê de Ética em Pesquisa sob o número 4.578.750.

Procedimentos

O comportamento técnico da braçada dos nadadores ao realizarem o nado crawl foi observado por meio da utilização de gravações e seguindo o método de análise qualitativa do movimento1616. Knudson DV, Knudson CS. Análise qualitativa do movimento humano. Barueri-SP: Editora Manole Ltda; 2001.. Optou-se por avaliar a braçada por esta ser considerada como o principal agente propulsor do nado33. Silveira RP, de Souza Castro FA, Figueiredo P, Vilas-Boas JP, Zamparo P. The effects of leg kick on swimming speed and arm-stroke efficiency in the front crawl. Int J Sports Physiol Perform. 2017Jul;12(6):728-35. DOI: https://doi.org/10.1123/ijspp.2016-0232
https://doi.org/10.1123/ijspp.2016-0232...
),(1515. Zamparo P, Carrara S, Cesari P. Movement evaluation of front crawl swimming: Technical skill versus aesthetic quality. PLoS One. 2017;12(9):e0184171. DOI: https://doi.org/10.1371/journal.pone.0184171
https://doi.org/10.1371/journal.pone.018...
. Cada nadador realizou um percurso de 25 metros nado crawl em uma velocidade confortável; seus deslocamentos foram gravados nos planos lateral (submerso e fora da água) e frontal (submerso e fora da água) nos 10 m finais da piscina, visando evitar o efeito da saída. Os nadadores foram orientados a não realizarem a respiração lateral no percurso de filmagem com o intuito de manter uma padronização na realização do nado e evitar possíveis alterações técnicas provenientes desta ação corporal. Com essa finalidade, marcações no fundo da piscina indicaram o início e o final desta distância.

O registro do nadador foi realizado por meio de câmeras esportivas (GoPro Hero 8; 1080p a 240 quadros por segundo), sendo que aquela utilizada dentro da água estava dentro de uma caixa de mergulho específica para esse propósito (GoPro) (0,5 m de profundidade da linha da água). As quatro imagens foram posteriormente digitalizadas, sincronizadas e transformadas em arquivo único para a edição de vídeo pelo software Final Cut Pro versão 10.4.9.

Apenas o movimento realizado pelo braço direito dos nadadores foi utilizado como objeto de observação dos avaliadores e com base em uma mesma lista de verificação, como já descrito na literatura99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
. A lista de verificação utilizada, considerada como aquela que apresenta os movimentos mais importantes de serem observados para a ação da braçada, é composta por 5 itens que descrevem as fases da braçada e as principais variações de como o movimento pode ser feito99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
. O avaliador teve a liberdade de assistir a filmagem quantas vezes tivesse necessidade. A partir da observação do movimento foi indicado em qual descritor (A, B, C ou D) o movimento se enquadrou. O Quadro 1 apresenta a lista de verificação utilizada.

Quadro 1
Lista de verificação utilizada pelos avaliadores para a observação da braçada do nado crawl. Na tabela são apresentados os Itens e os seus descritores de movimento (DM).

Etapas da Intervenção:

A realização do estudo foi dividida em três etapas, descritas a seguir.

1ª Etapa: intervenção para padronização dos critérios de observação e de avaliação da braçada do nado crawl pelos professores

Um dos pesquisadores do projeto se reuniu de forma remota com os avaliadores para discutir os critérios de observação e de avaliação da braçada do nado crawl. Foram realizados três encontros online com duração de cerca de 60 min. No primeiro encontro foi discutida a técnica do nado crawl, com ênfase nos movimentos essenciais da braçada. Nesse sentido, houve: 1- uma apresentação teórica com finalidade de se expor a descrição técnica do movimento do nado e uma discussão sobre os procedimentos de análise qualitativa do movimento humano, utilizando de elementos textuais e fotografias, e 2- a apresentação de vídeos (em diferentes planos de observação) de nadadores com distintos níveis de desempenho. Em todos os momentos os avaliadores ficaram livres para intervir e tirar dúvidas. No segundo encontro foi 1- apresentada a lista de verificação da técnica (composta de cinco itens), bem como discutidos os movimentos essenciais da braçada do nado crawl por meio da apresentação de vídeos (em diferentes planos de observação) e 2- como seriam utilizados os recursos do computador para melhor observação do movimento, tal como a visualização em velocidade lenta. O esperado desse encontro é que os avaliadores conhecessem a ferramenta e desenvolvessem critérios de observação semelhantes. No terceiro encontro os avaliadores tiveram a oportunidade de, simultaneamente, observar três nadadores de níveis diferentes. Cada critério de observação e avaliação foi discutido abertamente entre eles. Todos os encontros foram realizados por meio de vídeo aulas.

2ª Etapa: confiabilidade inter-avaliadores

Sete dias após o término da primeira etapa os avaliadores receberam por e-mail um link contendo os vídeos dos nadadores identificados por letras e tiveram 30 dias para preencher a ficha de observação. Os vídeos foram transferidos para o computador de cada avaliador antes da observação e avaliação. Cada avaliador utilizou de recursos, critérios e métodos próprios para observação do movimento. Com a intenção de evitar falhas no processo de observação em função do cansaço, no máximo cinco nadadores foram observados por dia. Os vídeos dos nadadores puderam ser vistos por quantas vezes o avaliador tivesse interesse, mas sem manter contato com os outros avaliadores.

3ª Etapa: confiabilidade intra-avaliador

Esta etapa consistiu na avaliação da confiabilidade intra-avaliador e foi realizada 20 dias após o término da segunda etapa. Os avaliadores receberam por e-mail um link contendo os vídeos dos nadadores identificados por letras (diferentes das apresentadas na segunda etapa) e tiveram 30 dias para reavaliá-los. Os vídeos foram transferidos para o computador antes da observação e avaliação. Cada avaliador utilizou de recursos, critérios e métodos próprios para observação e avaliação do movimento. Com a intenção de evitar falhas no processo de observação em função do cansaço, no máximo cinco nadadores foram observados por dia. Os vídeos dos nadadores puderam ser vistos por quantas vezes o avaliador tivesse interesse, mas sem manter contato com os outros avaliadores.

Análise estatística

Os descritores cinemáticos empregados no presente estudo podem ser classificados como nominais. O nível de confiabilidade inter-avaliadores (2ª etapa) foi testada por meio do Coeficiente de Confiabilidade Kappa de Fleiss. Por outro lado, o nível de confiabilidade intra-avaliador (3ª etapa) foi testada por meio do Coeficiente de Confiabilidade Kappa de Cohen. Resultados menores do que zero representam uma confiabilidade pobre, entre 0 e 0,20 uma confiabilidade pequena, entre 0,21 e 0,40 uma confiabilidade baixa, entre 0,41 e 0,60 uma confiabilidade moderada, entre 0,61 e 0,80 uma confiabilidade razoável e acima de 0,81 uma confiabilidade praticamente perfeita((1717. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977Mar;33(1):159-74. DOI: https://doi.org/10.2307/2529310
https://doi.org/10.2307/2529310...
)). Por meio do Kappa de Fleiss também foi possível obter o nível de confiabilidade inter-avaliadores para cada um dos descritores cinemáticos. Em todos os casos considerou-se o nível de significância de 95% e como relevantes as confiabilidades acima de 0,41 (moderada). Os dados foram tratados no IBM SPSS Statistics, versão 25.

Resultados

A tabela 1apresenta os resultados para a confiabilidade inter-avaliador. Os valores se encontram entre pequeno e baixo, variando entre 0,13 e 0,38 (p<0,05).

Tabela 1
Confiabilidade inter-avaliador para cada item de avaliação da braçada do nado crawl

Com relação aos resultados da confiabilidade intra-avaliador, pode-se destacar que o avaliador A apresentou confiabilidade moderada nas questões 1 e 5 (k=0,56 e p<0,001). Por sua vez, o avaliador B apresentou confiabilidade razoável nas questões 1, 3 e (k=0,65 e p<0,001; k=0,68 e p<0,001; k=0,65 e p<0,001). O avaliador C apresentou os melhores índices de confiabilidade dentre os 4 avaliadores: confiabilidade praticamente perfeita nas questões 1, 3, 4 e 5 (k=0,82 e p<0,001; k=0,87 e p<0,001; k=1 e p<0,001; k= 0,92 e p<0,001. Finalmente, o avaliador D apresentou confiabilidade moderada na questão 5 (k=0,49 e p<0,001) e razoável (k=0,64 e p<0,001) na questão 2. A classificação da confiabilidade intra-avaliador para os itens de avaliação da braçada do nado crawl é apresentada no Quadro 2.

Quadro 2
Classificação da confiabilidade intra-avaliador para cada item de avaliação da braçada do nado crawl

Discussão

O presente estudo teve como objetivo avaliar o efeito da padronização dos critérios de observação e de avaliação da técnica da braçada do nado crawl na confiabilidade inter e intra-avaliadores. Obteve-se para a confiabilidade inter-avaliador valores classificados como pequeno e baixo (0,13 a 0,38; p<0,05). Esse resultado ficou aquém do esperado e é um indicativo de que a intervenção proposta não causou o efeito desejado nesse aspecto da confiabilidade. Por sua vez, em relação à confiabilidade intra-avaliador houve uma grande variação entre os avaliadores. Alguns avaliadores obtiveram classificação de “praticamente perfeito” para os itens propostos e outros, confiabilidade baixa. O que se percebeu, nesse caso, foi que os treinadores de natação apresentaram, no geral, melhor confiabilidade intra-avaliador do que os professores. Entretanto, mesmo assim, a confiabilidade intra-avaliador precisa ser melhorada.

Os resultados da confiabilidade obtidos com o presente estudo não confirmaram a hipótese de que a intervenção oferecida com o intuito de padronizar os critérios de observação e avaliação resultaria em elevados valores de confiabilidade inter e intra-avaliador. Sendo assim, parece que a forma como foi realizada a intervenção - remota e com as videoaulas, não surtiu o efeito desejado na padronização desses critérios. Uma das limitações que pode ter ocorrido na intervenção pode ser justamente a utilização das videoaulas. O uso dos vídeos como recurso pedagógico mantém uma relação unidirecional do conhecimento, ou seja, o pesquisador que os gravou era o responsável pela passagem da informação. Por mais que estudos mostrem os benefícios da videoaula voltadas à formação de profissionais1818. Lima VS, Azevedo NAdA, Guimarães JMX, Pereira MM, Neto JA, Souza LM, et al. Produção de vídeo-educacional: estratégia de formação docente para o ensino na saúde. Rev. Elet. de Com. 2019. acesso em 06 de março de 2022. DOI: 10.29397/reciis.v13i2.1594
https://doi.org/10.29397/reciis.v13i2.15...
),(1919. Mogetti RS, Brod FAT, Lopes JLB. VIDEOAULA INTERATIVA COMO RECURSO DE ENSINO PARA A EDUCAÇÃO PROFISSIONAL A DISTÂNCIA. Redin- Rev. Edu. Interd.. 2019;8(1). acesso em 07 de março de 2022. Disponível em:Disponível em:http://seer.faccat.br/index.php/redin/article/view/1531
http://seer.faccat.br/index.php/redin/ar...
, o presente estudo não obteve o êxito esperado com a utilização dessa ferramenta. Isso não significa que a proposta seja inválida, mas que precisa ser aprimorada.

Os resultados encontrados levantam a hipótese de que a oportunidade de discussão entre os avaliadores, refletindo e apresentando seus próprios critérios de observação e avaliação - que muitas vezes não são claros para eles mesmos (vide os resultados da confiabilidade intra-avaliador), seguido de um direcionamento para padronização desses critérios, seria positivo. Assim, a interação e comunicação entre os avaliadores é importante para que o processo de formação e de ensino seja concretizado2020. Lauriti NC. A comunicação na avaliação de desempenho docente no ensino superior. EccoS-Rev. Cient. 2002;4(1):111-30. DOI: https://doi.org/10.5585/eccos.v4i1.296
https://doi.org/10.5585/eccos.v4i1.296...
. Além disso, o uso de diferentes ferramentas de aprendizagem durante a videoaula (como animações, gráficos e links de artigos ou textos baseados na temática escolhida) podem contribuir positivamente1919. Mogetti RS, Brod FAT, Lopes JLB. VIDEOAULA INTERATIVA COMO RECURSO DE ENSINO PARA A EDUCAÇÃO PROFISSIONAL A DISTÂNCIA. Redin- Rev. Edu. Interd.. 2019;8(1). acesso em 07 de março de 2022. Disponível em:Disponível em:http://seer.faccat.br/index.php/redin/article/view/1531
http://seer.faccat.br/index.php/redin/ar...
. Dessa maneira, para outros estudos com essa temática, sugere-se a utilização dessas estratégias. Acredita-se que dessa forma o processo de intervenção seria mais bem estruturado e poderia resultar em valores significativos de confiabilidade inter e intra-avaliador. De qualquer maneira, a oferta de quatro possibilidades de realização do movimento torna mais difícil a ocorrência de concordância ao acaso e esse fator deve ser considerado na interpretação dos resultados de confiabilidade.

Em um estudo de Wizer e colaboradores1111. Wizer R, Franken M, Castro F. Concordância intra e inter-observador de protocolo de avaliação de habilidades aquáticas de crianças. Rev Br. Ci. e Mov. 2016;24(1):101-7. DOI: https://doi.org/10.18511/rbcm.v24i1.5835
https://doi.org/10.18511/rbcm.v24i1.5835...
, que pode ser utilizado para comparação com a segunda etapa do presente estudo, a confiabilidade inter-avaliador variou entre pobre a moderada. O estudo citado avaliou as habilidades aquáticas da fase de adaptação ao meio aquático de crianças. Já a confiabilidade intra-avaliador variou de substancial a perfeita. Essa confiabilidade foi mais baixa nas tarefas pouco realizadas nesse nível de aprendizagem, principalmente por exigirem maior confiança para sua realização. Dessa forma, as crianças podem ter apresentado diferentes padrões de movimento, dificultando a avaliação em razão da inconsistência na realização das tarefas motoras. Apesar dos resultados de confiabilidade apresentados, acredita-se que para esse nível de aprendizagem o professor tenha ainda mais dificuldade em estabelecer critérios e padrões internos do movimento.

Por outro lado, Vidal e colaboradores1010. Vidal JdM, Tucher G, Nogueira L, Novaes RC, Vale RGdS, Castro MORd, et al. Crawl technique observation sheet for beginning swimmers: an evaluation proposal for swimming teachers. Motriz: Rev. Educ. Fis. 2021;27. DOI: https://doi.org/10.1590/S1980-65742021016920
https://doi.org/10.1590/S1980-6574202101...
encontraram confiabilidade razoável, na etapa inter-avaliador, quando se avaliou diversos componentes técnicos do nado crawl. Já a confiabilidade intra-avaliador, variou de razoável a substancial. Algumas limitações foram apresentadas pelos autores, tanto durante a etapa intra quanto inter-avaliador.

Corazza e colaboradores2121. Corazza ST, Pereira ÉF, Villis JMC, Katzer JI. Criação e validação de um teste para medir o desempenho motor do nado crawl. Rev Bras Cineantropom Desempenho Hum. 2006[acesso em 08 mar 2022];8(3):73-8. Disponível em: Disponível em: https://pesquisa.bvsalud.org/portal/resource/pt/lil-469812
https://pesquisa.bvsalud.org/portal/reso...
, por outro lado, encontraram concordância praticamente perfeita em estudo que criou e validou um teste de desempenho motor para o nado crawl. Esses resultados ainda são semelhantes ao de outros estudos que encontraram confiabilidade variando de moderada até praticamente perfeita99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
),(2222. Gollegã DG, de Oliveira TAC, Freudenheim AM, Madureira F, Rodrigues HF, Dubas JP. Validação de um instrumento para avaliação qualitativa do nado “Crawl”. Rev. Bras. de Ed. Fis. e Esp. 2008;22(4):273-84. DOI: https://doi.org/10.1590/S1807-55092008000400004
https://doi.org/10.1590/S1807-5509200800...
. Por mais que as comparações possam ser realizadas entre esses estudos, é importante destacar que o nível dos nadadores, as fichas de avaliação, a forma de observação (ao vivo ou gravação de vídeo), bem como a experiência e o nível de formação dos profissionais avaliadores são diferentes. No fim, todas essas diferenças dificultam as comparações dos resultados entre os estudos.

Outro estudo avaliando somente a braçada do nado crawl obteve resultados de confiabilidade variando entre leve a substancial, passando por moderado99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
. Vale destacar que a etapa de testagem da confiabilidade intra-avaliador foi realizada após uma reunião dos avaliadores com um dos pesquisadores responsáveis pela pesquisa. Mesmo com a reunião e debate para a escolha dos pontos mais relevantes da ficha de avaliação, e a maior formação acadêmica de um dos professores, a concordância intra-avaliador não foi elevada para todos os itens, principalmente para os professores com menor formação acadêmica. Assim como no nosso estudo, os autores destacam que a intervenção não gerou o efeito esperado de padronização entre os avaliadores. Isso ficou evidente porque eles continuaram utilizando seus conhecimentos pessoais previamente construídos para avaliar os nadadores99. Tucher G, Quintão GF, Garrido ND, Castro FAdS. Inter-and intra-rater reliability of swimming teachers with different skill levels, in different conditions, evaluating front crawl arm movement in non-expert swimmers. Motriz: Rev. Educ. Fis.. 2020;26. DOI: https://doi.org/10.1590/s1980-6574202000010025
https://doi.org/10.1590/s1980-6574202000...
.

Dois outros estudos avaliando o nado crawl obtiveram confiabilidade intra-avaliador semelhantes, sendo praticamente perfeitas2121. Corazza ST, Pereira ÉF, Villis JMC, Katzer JI. Criação e validação de um teste para medir o desempenho motor do nado crawl. Rev Bras Cineantropom Desempenho Hum. 2006[acesso em 08 mar 2022];8(3):73-8. Disponível em: Disponível em: https://pesquisa.bvsalud.org/portal/resource/pt/lil-469812
https://pesquisa.bvsalud.org/portal/reso...
),(2222. Gollegã DG, de Oliveira TAC, Freudenheim AM, Madureira F, Rodrigues HF, Dubas JP. Validação de um instrumento para avaliação qualitativa do nado “Crawl”. Rev. Bras. de Ed. Fis. e Esp. 2008;22(4):273-84. DOI: https://doi.org/10.1590/S1807-55092008000400004
https://doi.org/10.1590/S1807-5509200800...
. Esses achados são próximos de alguns dos resultados do presente estudo, onde foram obtidos confiabilidade intra-avaliador considerável nas questões 1,3 e 5 para o avaliador B e praticamente perfeita para o avaliador C, nas questões 1, 3 e 4. Entretanto, no estudo de Corazza e colaboradores2121. Corazza ST, Pereira ÉF, Villis JMC, Katzer JI. Criação e validação de um teste para medir o desempenho motor do nado crawl. Rev Bras Cineantropom Desempenho Hum. 2006[acesso em 08 mar 2022];8(3):73-8. Disponível em: Disponível em: https://pesquisa.bvsalud.org/portal/resource/pt/lil-469812
https://pesquisa.bvsalud.org/portal/reso...
a repetição da observação dos nadadores aconteceu seis dias após a primeira observação e aconteceu por meio da observação direta dos nadadores na piscina. Esse curto intervalo de tempo entre as observações pode permitir que alguns critérios de avaliação sejam mantidos na memória e influenciem na segunda avaliação. Além disso, a observação direta do nadador pode permitir um ajuste no posicionamento do observador a partir das suas necessidades de foco de observação. O mesmo não acontece por meio da visualização do vídeo, que tem seu plano de observação fixo ao longo de todo o movimento. Mesmo no atual estudo, que contou com quatro pontos de observação fixos em dois planos diferentes (lateral e frontal), a capacidade de observação é predeterminada. Além disso, inicialmente o nadador está atrás do plano de observação permitido pela câmera, depois alinhado paralelamente e, finalmente, a frente.

No estudo de Madureira e colaboradores2222. Gollegã DG, de Oliveira TAC, Freudenheim AM, Madureira F, Rodrigues HF, Dubas JP. Validação de um instrumento para avaliação qualitativa do nado “Crawl”. Rev. Bras. de Ed. Fis. e Esp. 2008;22(4):273-84. DOI: https://doi.org/10.1590/S1807-55092008000400004
https://doi.org/10.1590/S1807-5509200800...
foi levado em consideração somente os erros que o executante pode realizar em cada uma das etapas do nado crawl. Tal estratégia pode ter facilitado a concordância nesta etapa, pois o avaliador tinha somente a função de avaliar possíveis erros de execução dos nadadores, o que é mais fácil de se fazer do que avaliar o movimento como um todo e enquadrá-lo em uma das opções destacadas na ficha de avaliação, o que ocorreu em nosso estudo. Por mais que isso facilite à avaliação por parte dos observadores, temos que destacar que não existe uma técnica rígida, imutável do nado crawl, mas sim, variações do que pode ser a técnica ideal. Sendo assim, deve-se levar em consideração as características e limitações do praticante e permitir algo dento do espectro do desejável para a técnica do nado crawl1010. Vidal JdM, Tucher G, Nogueira L, Novaes RC, Vale RGdS, Castro MORd, et al. Crawl technique observation sheet for beginning swimmers: an evaluation proposal for swimming teachers. Motriz: Rev. Educ. Fis. 2021;27. DOI: https://doi.org/10.1590/S1980-65742021016920
https://doi.org/10.1590/S1980-6574202101...
.

A formação e a experiência dos profissionais participantes dos diferentes estudos apresentados também devem ser discutidas. Esta pesquisa levanta a hipótese de que os treinadores se preocupam mais com a observação do movimento sob uma ótica de sua contribuição e eficiência propulsiva. Por outro lado, os professores de natação mantêm o seu foco na observação do movimento a partir da estética da técnica2323. Soares S, Fernandes R, Carmo C, Santos Silva J, Vilas-Boas J. Avaliação qualitativa da técnica em Natação. Apreciação da consistência de resultados produzidos por avaliadores com experiência e formação similares. Rev. Port. de Ci. do Desp. 2001[acesso em 08 mar 2022];1(3):22-32. Disponível em: Disponível em: https://www.researchgate.net/profile/J-Paulo-Vilas-Boas/publication/307781939_Avaliacao_qualitativa_da_tecnica_em_Natacao_Apreciacao_da_consistencia_de_resultados_produzidos_por_avaliadores_com_experiencia_e_formacao_similares/links/5836d0db08aec3fe331e0d56/Avaliacao-qualitativa-da-tecnica-em-Natacao-Apreciacao-da-consistencia-de-resultados-produzidos-por-avaliadores-com-experiencia-e-formacao-similares.pdf
https://www.researchgate.net/profile/J-P...
. Como exemplo, os resultados encontrados mostraram que os professores apresentaram confiabilidade intra-avaliador maior nas questões 1 e 5. Já os treinadores, nas questões 1, 3, 4 e 5. Enquanto as questões 1 e 5 são descritores de movimento fora d’água e não propulsivos, as questões 3 e 4 referem-se a movimentos que ocorrem dentro d’água e que têm real influência na propulsão. Sendo assim, os treinadores parecem se preocupar com os movimentos realizados dentro e fora da água, já que a técnica é construída com finalidade propulsiva. Dessa maneira, desenvolvem critérios próprios e espontâneos que permitem essa observação. Por outro lado, os professores parecem se preocupar mais com o movimento realizado fora da água, desenvolvendo critérios de observação mais relacionados nesse sentido.

De qualquer maneira, movimentos realizados dentro da água são difíceis de serem percebidos pelos avaliadores, mesmo nas imagens submersas1010. Vidal JdM, Tucher G, Nogueira L, Novaes RC, Vale RGdS, Castro MORd, et al. Crawl technique observation sheet for beginning swimmers: an evaluation proposal for swimming teachers. Motriz: Rev. Educ. Fis. 2021;27. DOI: https://doi.org/10.1590/S1980-65742021016920
https://doi.org/10.1590/S1980-6574202101...
pois essa não é uma prática comum a maior parte deles. Tudo isso influencia na capacidade de observação, percepção e avaliação do movimento por esses profissionais e, consequentemente, na concordância inter e intra- avaliador em cada estudo. Destaca-se ainda a dificuldade apresentada pelos dois grupos no atual estudo em identificar o momento do agarre, descrito na questão dois. Apesar desse momento não ser propulsivo, o posicionamento dos membros superiores é importante porque é a partir dele que se inicia a ação propulsiva da braçada2424. Toussaint HM, Hollander AP, Van den Berg C, Vorontsov A. Biomechanics of swimming.In: Garrett WE, Kirkendall DT, editors. Exercise and Sport Science Philadelphia: Lippincott, Williams & Wilkins; 2000. [acesso em 08 mar 2022]:639-60. Disponível em:Disponível em:https://www.researchgate.net/profile/Peter-Hollander-3/publication/313617617_Biomechanics_of_swimming/links/60718dc14585150fe998b00d/Biomechanics-of-swimming.pdf
https://www.researchgate.net/profile/Pet...
. Pelo exposto, para os estudos dessa temática, sugere-se que a intervenção mantenha a proposta de apresentação da técnica do nado, mas que permita uma discussão entre os avaliadores, expondo seus critérios próprios de observação e de avaliação. Essa iniciativa pode permitir que seus critérios sejam conhecidos, que passem por uma reflexão e sistematização pessoal. Como resultado, espera-se padronizar esses critérios e contribuir com o aumento da confiabilidade inter e intra-avaliador em estudos sobre a avaliação da técnica na natação. Além disso, recomenda-se o estudo de outros componentes da técnica do nado crawl, como o movimento de ambos os braços (não só o membro direito), movimento de pernada, posição do tronco e as fases da respiração.

Conclusão

A intervenção realizada junto aos avaliadores com a tentativa de padronização dos critérios de observação e avaliação não surtiu o efeito desejado na concordância inter e intra-avaliador. Os resultados encontrados estão de acordo com outros estudos da literatura, mas se acreditava na possibilidade de melhoria da confiabilidade. Com efeito, apesar das discussões levantadas na intervenção, o que parece ter prevalecido durante as avaliações foram as experiências prévias dos avaliadores. Assim, é importante que seja proposta uma intervenção com qualidade e critérios suficientes que permitam uma maior padronização nos critérios de observação e avaliação dos nadadores por professores de natação com diferentes formações e experiências profissionais

Referências

Editado por

Editor: Moacir Marocolo.

Datas de Publicação

  • Publicação nesta coleção
    29 Maio 2023
  • Data do Fascículo
    2023

Histórico

  • Recebido
    30 Nov 2022
  • Revisado
    28 Mar 2023
  • Aceito
    28 Mar 2023
Universidade Estadual de Maringá Avenida Colombo, 5790 - cep: 87020-900 - tel: 44 3011 4315 - Maringá - PR - Brazil
E-mail: revdef@uem.br