Como determinar a qualidade de um questionário de acordo com o COnsensus-based Standards for the selection of health Measurement INstruments? Um guia simplificado sobre as propriedades de medida de instrumentos de avaliação - Parte II: validade, responsividade, interpretabilidade e checklist para caracterização da qualidade dos instrumentos

Chaves, Thaís Cristina; Lima, Thamiris Costa de; Spavieri, Juliana H. Padilha; Claudio, Ana Carolina de Jacomo; Pereira, Roger Berg Rodrigues; Lira, Mariana Romano de

doi:10.5935/2595-0118.20230092-pt

Acessibilidade / Reportar erro

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

ARTIGO DE REVISÃO • BrJP 6 (4) • Oct-Dec 2023 • https://doi.org/10.5935/2595-0118.20230092-pt copiar

Como determinar a qualidade de um questionário de acordo com o COnsensus-based Standards for the selection of health Measurement INstruments? Um guia simplificado sobre as propriedades de medida de instrumentos de avaliação - Parte II: validade, responsividade, interpretabilidade e checklist para caracterização da qualidade dos instrumentos

Autoria SCIMAGO INSTITUTIONS RANKINGS

RESUMO

JUSTIFICATIVA E OBJETIVOS:

O tipo de questionário que pretende captar a percepção/visão de um paciente sobre um aspecto a ser medido (ex: intensidade da dor) é chamado de Instrumento de Medida Baseado no Relato do Paciente (Patient Reported Outcome Measure - PROM). Um dos maiores desafios que clínicos e pesquisadores costumam enfrentar é quanto a tomada de decisão sobre qual PROM utilizar para a avaliação de seu paciente com dor, especialmente devido à falta do letramento científico necessário para entender os critérios e termos empregados na área de propriedades de medida. Assim, os objetivos deste estudo (parte II) foram: (I) introduzir conceitos básicos sobre PROMs com enfoque na terminologia e critérios definidos através do COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN), e (2) descrever as propriedades de medida dos domínios validade, responsividade e interpretabilidade e propor um checklist para avaliação da qualidade das propriedades de medida de PROMs.

MÉTODOS:

Utilizando uma busca voltada para os artigos da iniciativa COSMIN, foi elaborado o presente estudo de revisão, que foi dividido em duas partes para fins didáticos.

RESULTADOS:

O presente artigo compreendeu a descrição das propriedades de medida dos domínios de validade (conteúdo, estrutural, construto), responsividade (deve ser avaliada através de análises de acurácia, AUC≥0,70) e interpretabilidade (que fornece a mínima mudança clinicamente importante). Além disso, foi proposto um checklist para determinação da qualidade das propriedades de medida de instrumentos de avaliação.

CONCLUSÃO:

Este estudo descreveu as propriedades de medida dentro dos domínios validade e responsividade, e a importância da interpretabilidade para a obtenção da mínima diferença clinicamente importante. O checklist proposto para avaliação dessas propriedades pode auxiliar clínicos e pesquisadores a determinarem a qualidade de um instrumento e tomar a decisão sobre a melhor opção disponível.

Descritores:
Confiabilidade; Dor crônica; Dor musculoesquelética; Inquéritos e questionários; Psicometria

DESTAQUES

1. Dentro do domínio validade é possível analisar: validade estrutural e validade de construto- teste de hipóteses

2. A responsividade é a capacidade de um instrumento de detectar mudanças ao longo do tempo

3. A interpretabilidade é a capacidade de extrair significado dos resultados obtidos por PROMs.

4. A mínima mudança clinicamente importante (MIC) é umas das medidas de interpretabilidade dos PROMs.

5. Um checklist com 20 itens foi proposto para auxiliar na determinação do PROM com melhor qualidade.

Itens	Critério de Julgamento	Classificação
Validade de Conteúdo	1 - Foi descrito/definido adequadamente o construto mensurado pelo PROM ou OMI?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	2 - Um modelo conceitual do construto mensurado pelo PROM ou OMI foi descrito?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	3 - Está descrito com clareza para qual população alvo o PROM ou OMI se aplica?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Relevância	4 - As questões do PROM ou OMI parecem ser relevantes para a população alvo?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	5 - O período de relato para resgate de memória sobre o construto é adequado e está claramente descrito?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Compreensão	6 - As questões, as opções de resposta e as instruções do PROM ou OMI são de fácil compreensão pela população alvo?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Abrangência	7 - O PROM ou OMI contempla todos os conceitos fundamentais que deveriam ser considerados para avaliar o construto?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Validade de estrutura – domínios ou subescalas do PROM ou OMI	8- Uma descrição através de análises adequadas demonstra que a escala é unidimensional ou multidimensional?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	a - Para análise fatorial confirmatória há descrição dos seguintes aspectos: CFI ou TLI > 0.95 ou RMSEA ou SRMR < 0.06	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	b - Para análise Rasch é descrita: sem violação da unidimensionalidade, sem violação da independência local, sem violação da monotocidade, e ajuste do modelo adequado (valores infit e outfit entre ≥ 0.5 e ≤ 1.5)?
	c - Para análise fatorial exploratória, Cargas fatoriais > 0.30 e apenas 10% dos itens carregando em mais de 1 fator e variância explicada de pelo menos 50% ou resultados do scree plot ou critério de Kaiser (Eigenvalues > 1) alinhados com o modelo con-ceitual do PROM ou OMI?
Consistência Interna	9 - A validade estrutural foi verificada?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	10 - O alpha de Cronbach ≥ 0.70?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Confiabilidade	11 - A confiabilidade da escala demonstrou valores adequados? Tais como ICC ou Kappa ponderado ou r ≥ 0,70?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	12 - O período de teste-reteste pode ser considerado como adequado?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	13 - Foi oferecida uma descrição clara de que os pacientes estavam estáveis no período de teste-reteste?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Medida de Erro	14 - SDC ou LoA < MIC	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Validade de Construto – teste de hipóteses	15 - Pelo menos 75% das hipóteses de comparações levantadas foram confirmadas?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Validade de Critério	16- Uma correlação r ≥ 0.70 foi observada entre o escore da versão longa e curta do PROM ou OMI? Ou AUC ≥ 0.70?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Responsividade	17 - Pelo menos 75% das hipóteses de comparações levantadas foram confirmadas ou AUC ≥ 0.70?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Interpretabilidade	18 - É descrito para o PROM ou OMI dados/valores que permitem a interpretação dos escores obtidos? Ex1: Mínima Mudança Clinicamente Importante (MIC)? Ex2: valor de corte para determinação de subgrupos? Ex3: como interpretar o escore: por exemplo o que significa um escore alto ou baixo?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
Adaptação transcultural	19 - Existe uma versão do PROM ou OMI disponível em português Brasil que seguiu um método adequado de adaptação transcultural?	Sim □ Não □ Não foi descrito □ Não é possível determinar □
	20 - As propriedades de medida de foram testadas do PROM ou OMI foram testadas em uma amostra de brasileiros?	Sim □ Não □ Não foi descrito □ Não é possível determinar □

Sociedade Brasileira para o Estudo da Dor Av. Conselheiro Rodrigues Alves, 937 Cj2 - Vila Mariana, CEP: 04014-012, São Paulo, SP - Brasil, Telefones: , (55) 11 5904-2881/3959 - São Paulo - SP - Brazil
E-mail: dor@dor.org.br

Acompanhe os números deste periódico no seu leitor de RSS

[1] Correspondência para: Thaís Cristina Chaves E-mail: thaischaves@ufscar.br

1. Qual construto cada PROM mede?	“Ambas avaliam a percepção de incapacidade relacionada à dor lombar”
2. Qual a lógica do escore dos PROMs?	“Quanto maior o escore, pior a incapacidade”
3. Espera-se correlação entre os escores dos PROMs? Por quê?	“Sim, porque ambas medem o mesmo construto”
4. Qual a magnitude de correlação esperada? Ex: fraca, moderada ou intensa?	“Pelo menos r>0,50”
5. Qual a direção da correlação esperada? Positiva ou Negativa?	“Positiva, porque em ambos os instrumentos quanto maior o escore, pior a incapacidade”*
Assim, formule a hipótese completa de correlação entre os escores das escalas:	“Espera-se uma correlação moderada e positiva entre os escores do RMDQ e do ODI. Baseado na hipótese de que os instrumentos medem o mesmo construto”