Evidência de validade baseada nos processos de resposta de um protocolo de análise espectrográfica da voz

RESUMO

Objetivo

desenvolver a etapa de validade baseada nos processos de resposta do Protocolo de Análise Espectrográfica da Voz (PAEV).

Métodos

foram recrutados dez fonoaudiólogos e dez alunos de graduação em Fonoaudiologia, que aplicaram o PAEV em dez espectrogramas, realizaram o julgamento dos itens do PAEV e participaram de uma entrevista cognitiva. A partir das respostas, o PAEV foi reanalisado para reformulação ou para exclusão de itens. Utilizou-se o teste Qui-Quadrado e os valores de acurácia para análise das respostas dos questionários, assim como análise qualitativa dos dados da entrevista cognitiva.

Resultados

os participantes obtiveram acurácia maior que 70% na maioria dos itens do PAE. Apenas sete itens alcançaram acurácia menor ou igual a 70%. Houve diferença entre as respostas de presença versus ausência de dificuldade na identificação dos itens no espectrograma. A maioria dos participantes não teve dificuldade na identificação dos itens do PAEV. Na entrevista cognitiva, apenas seis itens não obtiveram correta identificação da intenção, conforme verificado na análise qualitativa. Além disso, os participantes sugeriram exclusão de cinco itens.

Conclusão

após a etapa de validação baseada nos processos de resposta, o PAEV foi reformulado. Sete itens foram excluídos e dois itens foram reformulados. Dessa forma, a versão final do PAEV após essa etapa foi reduzida de 25 para 18 itens, distribuídos nos cinco domínios.

Palavras-chave:
Voz; Distúrbios de voz; Acústica da fala; Qualidade de voz; Estudo de validação

ABSTRACT

Purpose

To develop the validity step based on the response processes of the Spectrographic Analysis Protocol (SAP).

Methods

10 speech therapists and 10 undergraduate students of the Speech Therapy course were recruited, who applied the SAP in 10 spectrograms, performed the evaluation of the PAE items, and participated in a cognitive interview (CI). The SAP was reanalyzed to reformulate or exclude items based on the responses. The chi-square test and the accuracy values were used to analyze the answers to the questionnaires and qualitative analysis of the CI data.

Results

the participants achieved accuracy > 70% in most items of the SAP. Only seven items achieved accuracy ≤ 70%. There was a difference between presence vs. absence of difficulty in identifying items in the spectrogram. Most participants had no problem identifying the SAP items. In the CI, only six items did not correctly identify the intention, verified in the qualitative analysis. In addition, participants suggested excluding five items.

Conclusion

After the validation step based on the response processes, the SAP is reformulated. Seven items were deleted, and two items were reformulated. Thus, the final version of the SAP after this stage was reduced from 25 to 18 items, distributed in the five domains.

Keywords:
Voice; Voice disorders; Speech acoustics; Voice quality; Validation study

INTRODUÇÃO

A análise acústica é parte da avaliação multidimensional da voz e traz informações complementares para a avaliação, diagnóstico e monitoramento dos distúrbios da voz. Na rotina fonoaudiológica, a análise acústica é útil na avaliação de indivíduos com queixa vocal, pois permite a extração de medidas que quantificam e qualificam características do sinal vocal, como jitter, shimmer e glottal noise excitation (GNE)(¹-³). É considerada como referencial no uso clínico e de pesquisas para avaliação vocal, por possibilitar a comparação de sinais vocais desviados com dados normativos, além de favorecer a compreensão da produção vocal por um método não invasivo e ter alta reprodutibilidade(²,³).

O maior número de métodos da análise acústica consiste em medidas quantitativas, com uso de algoritmos de alta reprodutibilidade para extração, que comparam e classificam um sinal vocal de acordo com valores de referência(²,⁴). No entanto, essa abordagem pode sofrer influências relacionadas ao nível de pressão sonora durante a gravação da voz e o grau de aperiodicidade no sinal, além de existirem diferentes algoritmos utilizados entre os softwares, o que pode comprometer a aplicação clínica e não refletir o fenômeno avaliado(⁵-⁷).

A espectrografia da voz é o principal método de análise acústica qualitativa do sinal vocal. O espectrograma consiste em um gráfico tridimensional e é passível de avaliação descritiva, observando-se o comportamento dos harmônicos, a distribuição de energia em função das faixas de frequência, dentre outros aspectos. A principal vantagem da espectrografia é de poder analisar diferentes sinais vocais, independentemente do grau de aperiodicidade e do ruído presente na emissão(³).

Por outro lado, a principal crítica em relação à inspeção acústica do traçado espectrográfico é referente ao seu caráter subjetivo, que depende da experiência do avaliador e de treinamento específico(⁸,⁹). Uma das formas de melhorar a qualidade da análise espectrográfica é desenvolver protocolos padronizados que permitam o treinamento de novos clínicos. Na literatura disponível(⁵,¹⁰), existem propostas de classificação e caracterização do espectrograma de banda estreita. No entanto, elas não passaram por processo de validação para uso em contexto clínico.

Nesse contexto, um Protocolo de Análise Espectrográfica da Voz (PAEV) começou a ser desenvolvido para classificar indivíduos com e sem desvio vocal, por meio da espectrografia(¹¹). Os autores utilizaram como base as recomendações(¹²) para elaboração e validação de instrumentos. O PAEV passou pela primeira etapa do processo validação, na qual verificou-se a evidência de conteúdo, a clareza e a relevância dos itens em seus domínios(¹³).

O PAEV foi criado com o objetivo de analisar espectrogramas de banda estreita de uma vogal sustentada. Os itens do PAEV podem analisar todas as vogais, contanto que sejam emitidas de maneira sustentada e que o clínico utilize sempre a mesma vogal escolhida, para que seja possível realizar comparações inter e intrasujeitos. Neste estudo, optou-se pela utilização da vogal [ Ɛ ] por ser a mais comumente utilizada na avaliação vocal no Brasil e por ter características de ser uma vogal oral aberta, não arredondada e com posição mais neutra e intermediária no trato vocal para o português brasileiro(¹³).

O PAEV, atualmente, possui cinco domínios: início da emissão, aspectos temporais da emissão, distribuição da energia no traçado, descrição dos harmônicos e distribuição do ruído no traçado (Figura 1). Para utilizar o PAEV, o clínico precisa realizar inicialmente a inspeção visual do traçado espectrográfico da vogal sustentada. Na sequência, deve marcar no PAEV os itens observados no espectrograma. Ainda não há um escore definido ou um ponto de corte para o instrumento, visto que o PAEV está em processo de validação e deve passar por mudanças nas propriedades psicométricas e estruturais até se concluir a validação. Atualmente, o PAEV tem sido utilizado para treinar clínicos para descrição espectrográfica de amostra de vozes de pacientes disfônicos. Ao fim das etapas de validação, espera-se que seja criado um escore para que os profissionais possam classificar, de acordo com o ponto de corte, a presença ou ausência de desvio vocal, assim como o grau do desvio.

Figura 1
Protocolo de análise espectrográfica da voz: (A) versão pré-etapa de validação baseada nos processos de resposta; (B) versão pós-etapa de validação baseada nos processos de resposta

Considerando-se a sequência no processo de validação de um instrumento, o objetivo desta pesquisa foi desenvolver a etapa de validade baseada nos processos de resposta do PAEV. Esta etapa irá averiguar e analisar a dificuldade de instrumentalização de cada item do PAEV, além de verificar seu nível de compreensão, a fim de que possa ser reformulado a partir dos resultados encontrados.

Os processos de resposta resultam das observações ou julgamentos sobre o comportamento ou performance de diferentes estratos da população-alvo durante a aplicação do teste. Nesta etapa, buscou-se compreender quais os processos psicológicos, cognitivos e sociais envolvidos na aplicação do teste e verificar a adequação, estrutura e aplicação dos itens em um contexto real(¹⁴).

MÉTODOS

Desenho do estudo

Trata-se de uma pesquisa de validação de instrumento, avaliada e aprovada pelo Comitê de Ética em Pesquisa da Universidade Federal da Paraíba, com parecer número 508.200/2013. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). A metodologia utilizada para essa etapa de validação foi baseada nas recomendações disponíveis na literatura atual(¹²,¹⁵,¹⁶).

Participantes

Em estudos cujo objetivo é realizar o processo de validação baseado nos processos de resposta, não há recomendação explícita para o tamanho amostral nessa etapa. Quando essa etapa de validação envolve o uso de entrevista cognitiva (EC), como é o caso da presente pesquisa, sugere-se uma amostra entre cinco e 15 participantes representantes de cada estrato da população-alvo. Considerando a natureza exploratória da EC na etapa de validade baseada no processo de respostas, há maior probabilidade de detecção de problemas nos itens do instrumento com a utilização de amostras reduzidas, pois se reduz a variabilidade dos resultados da EC(¹⁷,¹⁸).

Dessa forma, foi constituída uma amostra por conveniência com dez fonoaudiólogos e dez alunos de graduação em Fonoaudiologia, que já haviam realizado treinamento de análise espectrográfica ligado à disciplina obrigatória no curso. Todos os participantes eram vinculados à instituição onde foi realizada a presente pesquisa, ou dela egressos, de forma que receberam treinamento em análise espectrográfica como conteúdo obrigatório durante sua formação (no segundo ano do curso de graduação). Para a seleção dos fonoaudiólogos participantes desta pesquisa, adaptou-se o sistema de pontuação The Fehring Model (¹⁹). Tal sistema foi elaborado para a seleção de peritos para estudos de validação na área de enfermagem, podendo ser adaptado para seleção de especialistas em outras áreas. A partir do sistema de pontuação apresentado pelo modelo (Quadro 1), deve-se selecionar especialistas com escore mínimo de 5 pontos.

Quadro 1
Adaptação do sistema de pontuação Fehring para seleção de especialistas em estudos de validação

CRITÉRIOS FEHRING	PONTOS	CRITÉRIOS ADAPTADOS	PONTOS ADAPTADOS
Mestre em enfermagem	4	Graduação em Fonoaudiologia (critério obrigatório)	0
Mestre em enfermagem - dissertação com conteúdo relevante dentro da área clínica	1	Mestrado com dissertação na área de voz	2
Pesquisa (com publicação) na área de diagnósticos	2	Pesquisas (com publicação) na área de voz	2
Artigo publicado na área de diagnósticos em um periódico de referência	2	Artigo publicado na área de Voz em periódico ≥B1	2
Doutorado em diagnóstico	2	Doutor com tese na área de voz	2
Prática clínica de pelo menos um ano de duração na área de enfermagem em clínica médica	1	Prática clínica de pelo menos dois anos na área de voz e experiência na análise espectrográfica de banda estreita	3
Certificado em área clínica médica com comprovada prática clínica	2	Especialização/especialista na área de voz	3
Pontuação máxima	14	Pontuação máxima	14

• Legenda: ≥ = maior ou igual; B1 = avaliação Qualis

Para os estudantes, os critérios de inclusão foram: estar regularmente matriculado no curso de Fonoaudiologia da instituição de origem; ter cursado a disciplina da área de voz, cujo conteúdo inclui, obrigatoriamente, o treinamento em análise espectrográfica da voz.

O PAEV é um instrumento a ser aplicado, prioritariamente, por fonoaudiólogos, no contexto de avaliação clínica da voz ou em pesquisas na área. Sendo assim, a população-alvo para uso do PAEV envolve desde o acadêmico em Fonoaudiologia (fonoaudiólogo em formação) até o profissional (bacharel em Fonoaudiologia). Por isso, o recrutamento de participantes para o presente estudo envolveu fonoaudiólogos e estudantes de Fonoaudiologia, de modo a garantir a representatividade de cada estrato da população-alvo.

Para o recrutamento dos profissionais, foram enviados e-mails para dez fonoaudiólogos egressos (da graduação ou pós-graduação), ou vinculados em nível de pós-graduação à instituição onde foi realizada a pesquisa, com histórico de atividades de pesquisa ou extensão na área de voz, especificamente, no laboratório onde ocorreu a presente pesquisa. A lista com nome e contato desses fonoaudiólogos foi fornecida pela coordenação do referido laboratório.

O e-mail enviado continha as informações sobre a pesquisa, o TCLE e seis perguntas relacionadas aos critérios da pontuação Fehring: “Possui mestrado com dissertação na área de voz?”; “Já realizou e publicou pesquisas na área de voz?”; “Tem artigo publicado na área de voz em periódico com avaliação maior ou igual a B1?”; “Tem doutorado com tese na área de voz?”; “Possui pelo menos dois anos de prática clínica na área de voz, com experiência na análise espectrográfica de banda estreita?”; “Tem especialização e/ou é especialista em voz?”. Todos os dez fonoaudiólogos (sete do gênero feminino e três do gênero masculino) aceitaram participar e assinaram o TCLE.

Os estudantes de Fonoaudiologia também foram recrutados por e-mail. A coordenação do laboratório forneceu uma lista com os alunos de graduação que estavam realizando pesquisa ou extensão na área de voz. Dessa lista, foram selecionados os dez primeiros (nove do gênero feminino e um do gênero masculino) que cumpriam o critério de elegibilidade de já ter cursado a disciplina de voz, na qual é, obrigatoriamente, realizado o treinamento em análise espectrográfica. Na sequência, foram enviados e-mails para os dez estudantes. O e-mail enviado continha as informações sobre a pesquisa, o TCLE e duas perguntas para confirmação dos critérios de elegibilidade: “Você participa de projeto de pesquisa ou extensão na área de voz?”; “Já cursou a disciplina na qual é realizado o treinamento de análise espectrográfica da voz?”. Todos os dez estudantes aceitaram participar e assinaram o TCLE.

Todos os profissionais e estudantes que confirmaram a disponibilidade de participação e assinaram o TCLE receberam um novo e-mail, com o objetivo de agendar dia e horário individual para coleta dos dados. A coleta foi realizada no laboratório de origem da presente pesquisa.

Procedimentos

A coleta de dados envolveu três etapas: 1) preparação do material, 2) aplicação do questionário e 3) realização da entrevista cognitiva.

1. Preparação do material

Um dos principais objetivos da etapa de validade baseada nos processos de resposta é investigar a compreensão da população-alvo quanto à aplicação e aos processos cognitivos envolvidos nessa aplicação. Sendo assim, considerando que o PAEV é uma ferramenta a ser aplicada pelo fonoaudiólogo durante a inspeção acústica do espectrograma, tornou-se necessário selecionar e organizar um conjunto de espectrogramas para a análise dos participantes da pesquisa.

Os espectrogramas foram selecionados a partir da base de dados do laboratório onde a pesquisa foi realizada. O banco de dados contém informações sobre todos os sujeitos que passaram pelo processo de avaliação clínica da voz no referido laboratório, entre 2012 e 2019. Esse banco de dados contém informações sobre 1800 sujeitos atendidos no ambulatório naquele período especificado e inclui informações sobre queixas vocais, resultados do exame endoscópico, resultados da análise perceptivo-auditiva da voz, além de todas as amostras vocais do sujeito.

Além disso, o laboratório tem um banco de imagens de todos os espectrogramas de banda estreita durante a produção da vogal sustentada. Essas correspondências de informações foram coletadas durante a primeira sessão de avaliação vocal clínica, antes do início da terapia vocal.

Os espectrogramas utilizados nesta pesquisa são de pacientes de ambos os gêneros, possuindo vozes com ou sem desvio vocal. Os espectrogramas usados foram gerados no software Fonoview, versão 4.5, desktop Dell all-in-one, microfone cardioide unidirecional, da marca Senheiser, modelo E-835, localizado em um pedestal e acoplado a um pré-amplificador Behringer, modelo U-Phoria UMC 204. As coletas de vozes ocorreram em uma cabine de gravação com tratamento acústico e ruído inferior a 50 dB NPS, com taxa de amostragem de 44000 Hz, janelamento de 40 ms, tempo de atualização de 2,5 ms, faixa dinâmica de amplitude de 60 dB, limite de frequência de 7500 Hz e intervalo de tempo mínimo de três segundos. A vogal sustentada [ Ɛ ] foi utilizada como amostra no pitch e loudness no padrão habitual de fala, autoselecionado pelo paciente.

Em pesquisa anterior(¹¹), todos esses espectrogramas foram analisados em consenso por três fonoaudiólogos especialistas em voz, utilizando o PAEV e as suas respostas encontravam-se transcritas na referida base de dados. Essa descrição da presença/ausência dos itens do PAEV em cada espectrograma foi utilizada como referência para avaliar a correspondência entre a intenção dos desenvolvedores do PAEV e a interpretação dos respondentes participantes da presente pesquisa.

Sendo assim, a partir da consulta ao banco de dados e banco de imagens, os pesquisadores selecionaram espectrogramas de dez pacientes. O principal critério para escolha dos espectrogramas foi a frequência de ocorrência de cada um dos 25 itens do PAEV entre os dez espectrogramas. Nesse sentido, cada item deveria ter a probabilidade de ser indicado pelo menos três vezes no conjunto dos dez espectrogramas, assim como a probabilidade de não ocorrência do item em, pelo menos, três dos dez espectrogramas. Tal critério foi importante para garantir a ocorrência e a não ocorrência dos 25 itens. Para tanto, os pesquisadores consultaram a descrição dos espectrogramas, realizada previamente e registrada na base de dados, além de fazer uma nova inspeção acústica do respectivo espectrograma para confirmação da presença ou ausência de cada item.

Dessa forma, considerando que o PAEV contém 25 itens e que era necessário apresentar, para cada item, uma imagem espectrográfica com ausência e uma imagem com presença de cada item, os dez espectrogramas foram organizados em 50 telas para posterior apresentação. Deve-se ressaltar que se utilizou um conjunto de dez espectrogramas, considerando a probabilidade de ocorrência de mais de um item em cada espectrograma. No entanto, para minimizar o efeito aprendizagem, eles foram alocados de forma aleatória na sequência de apresentação.

Em seguida, o processo de validação baseado nos processos de resposta foi desenvolvido em duas fases: Fase 1 - elaboração e aplicação do questionário para compreensão da aplicação do PAEV; Fase 2 - entrevista cognitiva.

• Fase 1 - Elaboração e aplicação do questionário para compreensão da aplicação do PAEV

Considerando que o PAEV é uma ferramenta a ser utilizada por profissionais no contexto da avaliação clínica da voz, a identificação do item envolve duas etapas: entender o que é o item e capacidade de ter uma representação visual do item que deve ser observado no espectrograma. Nesse sentido, para a identificação da intenção do item, foi criado um questionário na plataforma Google Forms, contendo os dez espectrogramas selecionados previamente e os 25 itens do PAEV. Em cada página do questionário, havia a imagem de um traçado espectrográfico, seguida da questão: “Você acha que o item x está presente neste espectrograma?”. Esta pergunta era respondida de forma binária (sim ou não) pelos participantes. Na sequência, caso os participantes sentissem dificuldade em identificar o respectivo item, deveriam marcar a seguinte opção: “Além do ‘SIM’ ou ‘NÃO’, marque esta opção se você sentiu dificuldade em identificar a presença/ausência desse item no espectrograma.” Dessa forma, foram apresentadas 50 telas no formulário, correspondendo à ausência ou presença de cada um dos 25 itens do PAEV.

As respostas da primeira parte da questão (“Você acha que o item x está presente neste espectrograma?”) foram utilizadas para verificar a performance dos participantes quanto à identificação de cada item do PAEV no traçado espectrográfico. Essas respostas foram comparadas com as respostas do juiz de referência, conforme descrito anteriormente, para cálculo da taxa de acurácia e dos valores de sensibilidade e especificidade. A segunda parte da questão (“Além do ‘SIM’ ou ‘NÃO’, marque esta opção se você sentiu dificuldade em identificar a presença/ausência desse item no espectrograma?”) foi utilizada para averiguar a dificuldade de operacionalização dos itens do PAEV.

Deve-se considerar que, caso o participante respondesse negativamente à primeira parte da questão (“Você acha que o item x está presente neste espectrograma?”), ele não seguia para a segunda parte, relacionada à dificuldade de operacionalização. Por esse motivo, o número de respondentes na segunda parte da questão (dificuldade de operacionalização) pode ser inferior ao número total dos participantes.

Todos os participantes realizaram esta fase de maneira individual, no laboratório onde a pesquisa estava sendo realizada, com um tempo médio de duração de 60 minutos. Ao terminar a análise dos espectrogramas, os participantes foram convidados para a próxima fase, a EC.

• Fase 2 - Entrevista cognitiva

A EC é uma das principais estratégias utilizadas no desenvolvimento de um instrumento, especificamente, para avaliar a validade de conteúdo e a validade baseada nos processos de resposta(²⁰). O principal objetivo da entrevista cognitiva é identificar os itens em que há um desalinhamento entre a intenção do proponente do instrumento e a interpretação do respondente, possibilitando, assim, modificar tais itens com base nas respostas dos participantes.

A EC envolve a identificação da intenção do item, a coleta de dados, a análise e a comparação da interpretação do respondente com o significado pretendido(²¹). A intenção do item se refere ao objetivo que o item foi projetado para alcançar. Para realizar a EC, o pesquisador deve, previamente, ter a descrição da intenção de cada item do instrumento. Dessa forma, utilizou-se a descrição original dos itens publicada na etapa de validação de conteúdo(¹¹) e análise dos juízes de referência acessada na base de dados.

Na EC, a coleta de dados pode incluir dois tipos de procedimentos(¹²,²¹): pensamento em voz alta (solicitar aos respondentes que descrevam seu pensamento à medida que leem ou respondem ao item), ou sondagem verbal (perguntas espontâneas ou estruturadas feitas pelo investigador imediatamente à resposta do participante ao item). Nesta pesquisa, utilizou-se a sondagem verbal, uma vez que possibilita acessar as quatro fontes de vieses cognitivos que devem ser investigados na validação de instrumentos: compreensão, memória, julgamento e resposta.

Dessa forma, na etapa de EC, o pesquisador fazia o seguinte questionamento para cada um dos itens do PAEV: “Como você entendeu o comando descrito no item x?”. A resposta de cada participante foi transcrita pelo entrevistador. Com tais respostas, esperou-se verificar a compreensão dos participantes quanto a cada um dos itens e as dificuldades operacionais relacionadas a eles. Além disso, a cada item, era questionado se o participante tinha alguma sugestão. Todas as sugestões dos participantes também foram transcritas para posterior análise.

Na literatura disponível, não há consenso quanto à análise de dados na(²¹) EC. Recomenda-se que seja verificado se há consenso nas respostas dos participantes quanto à identificação da intenção do item proposto pelo desenvolvedor do instrumento. Dessa forma, na presente pesquisa, as respostas dos participantes quanto à pergunta “Como você entendeu o comando descrito no item x?” (feita para cada item do PAEV) foram transcritas em uma planilha. Três pesquisadores com treinamento no PAEV e cegos quanto ao objetivo da pesquisa receberam as respostas transcritas. De maneira independente, eles deveriam avaliar as respostas dos participantes para cada item, respondendo de maneira binária (sim ou não) à questão: “A descrição realizada corresponde ao objetivo que deve ser alcançado pelo item em sua proposição no PAEV?”. Além da experiência prévia com o PAEV, os três avaliadores tiveram acesso a um quadro descritivo dos constructos e objetivos envolvidos em cada item e domínio do PAEV.

As respostas dos três avaliadores foram analisadas pelos pesquisadores. Foram considerados com correta identificação de intenção todos os itens em que, pelo menos dois, entre os três avaliadores, respondiam ‘sim’ à questão “A descrição realizada corresponde ao objetivo que deve ser alcançado pelo item em sua proposição no PAEV?”. Os itens que não obtiveram a maioria das respostas positivas foram identificados para posterior reformulação ou exclusão do PAEV(²⁰).

Análise dos dados

Para avaliação das respostas dos juízes quanto à identificação dos itens, foi realizada a análise das proporções entre a correspondência (acerto) ou não (erro) das respostas dos participantes e a resposta dos juízes de referência, conforme consulta prévia na base de dados. Para tanto, foi realizado o teste Qui-Quadrado, assim como teste dos valores de acurácia, sensibilidade e especificidade. Os valores de acurácia foram classificados em excelente (maiores que 90%), bom (entre 80% e 90%), aceitável (entre 70% e 80%), pobre (entre 60% e 70%) e sem desempenho aceitável (menor que 60%)(²²).

Quanto às respostas relacionadas à operacionalização dos itens (se o participante apresentou dificuldade ou não em identificar a ausência/presença do item no espectrograma), realizou-se o teste Qui-Quadrado para comparar a frequência de dificuldade em avaliar o item nos espectrogramas. A análise estatística foi realizada no software SPSS e o nível de significância adotado foi de p < 0,05.

Por fim, foram analisadas as respostas dos participantes na EC, identificando-se, de modo qualitativo, os itens que corresponderam à correta identificação de intenção na proposição do PAEV.

Considerando que o resultado das análises na etapa de validade baseada nos processos de resposta deve ser utilizado para reformulação ou exclusão de itens de um instrumento, foram considerados os seguintes critérios nesta pesquisa para reformulação ou exclusão dos itens:

• Itens com taxa de acurácia maiores que 70% no processo de identificação dos itens no espectrograma pelos participantes;

• Itens nos quais os participantes apresentaram dificuldade de operacionalização, com maior proporção de respostas referentes à presença dessa dificuldade, em relação à ausência de tal dificuldade;

• Itens para os quais os participantes sugeriram exclusão ou modificação durante a EC.

Dessa forma, todos os itens que falharam em pelo menos dois desses três critérios foram reformulados ou excluídos do PAEV. Além disso, optou-se por excluir os itens em que a maioria dos participantes sugeriu a exclusão durante a EC.

RESULTADOS

• Fase 1 - Elaboração e aplicação do questionário para compreensão da aplicação do PAEV:

Quanto às respostas dos participantes relacionadas à correta identificação de cada um dos itens do PAEV, observou-se que houve diferença na proporção de respostas corretas (em relação à avaliação do juiz de referência) e incorretas para a maioria dos itens. A acurácia permite verificar a taxa de identificação dos itens no traçado espectrográfico. Quatro itens obtiveram uma acurácia excelente (5, 6, 7 e 10), 10 itens apresentaram boa acurácia (1, 8, 11, 13, 15, 16, 17, 21, 22, 23 e 24), 3 itens com acurácia aceitável (9, 12 e 25), 3 itens com acurácia pobre (2, 4 e 18) e 4 itens sem acurácia aceitável (3, 14, 19 e 20) (Tabela 1).

Tabela 1
Comparação da frequência de distribuição e da taxa de acurácia quanto à identificação de cada item do protocolo de análise espectrográfica nos espectrogramas apresentados

ITEM DO PAEV	ESPECTROGRAMA
	PRESENTE		AUSENTE		valor de p	Acu	Sens	Esp
	n	%	n	%
Item 1 - Presença de ruído no início da emissão					<0,001*	90,0%	86,3%	94,4%
Presente	19	95%	3	15%
Ausente	1	5%	17	85%
Item 2 - Presença de estrias verticais escuras e definidas no início da emissão					0,491	62,5%	64,7%	60,8%
Presente	11	55%	6	30%
Ausente	9	45%	14	70%
Item 3 - Início da emissão com elevado número de harmônicos irregulares					0,011*	50,0%	50,0%	50,0%
Presente	14	70%	14	70%
Ausente	6	30%	6	30%
Item 4 - Início do traçado sem irregularidade ou ruído observável					0,002*	60,0%	70,0%	56,6%
Presente	7	35%	3	15%
Ausente	13	65%	17	85%
Item 5 - Presença de irregularidade do traçado					<0,001*	94,7%	95,0%	94,0%
Presente	19	95%	1	15%
Ausente	1	5%	17	85%
Item 6 - Perda gradativa da definição/energia do traçado					0,027*	100%	100%	100%
Presente	20	100%	7	35%
Ausente	0	0	13	65%
Item 7 - Presença de interrupções abruptas no traçado					<0,001*	92,5%	90,4%	94,3%
Presente	19	95%	2	20%
Ausente	1	5%	18	90%
Item 8 - Presença de traçado espectrográfico regular					<0,001*	87,5%	85,7%	89,4%
Presente	18	90%	3	15%
Ausente	2	10%	17	85%
Item 9 - Presença de harmônicos com pouco brilho					0,039*	80,0%	83,3%	77,2%
Presente	15	75%	3	15%
Ausente	5	25%	17	85%
Item 10 - Diminuição da energia e do número de harmônicos acima de 4000 Hz					<0,001*	100%	100%	100%
Presente	20	100%	2	10%
Ausente	0	0	18	90%
Item 11 - Presença de harmônicos acima de 4000 Hz					0,039*	90,0%	90,0%	90,0%
Presente	18	90%	2	10%
Ausente	2	10%	18	90%
Item 12 - Diminuição de energia ou reduzido número de harmônicos até 4000 Hz					<0,001*	72,5%	68,0%	80,0%
Presente	17	85%	8	40%
Ausente	3	15%	12	60%
Item 13 - Incremento de energia entre 1000-3000 Hz					<0,001*	85,0%	79,1%	93,7%
Presente	19	95%	5	25%
Ausente	1	5%	15	75%
Item 14 - Predomínio do traçado de F0 em detrimento dos outros harmônicos					0,002*	55,0%	53,3%	60,0%
Presente	16	80%	14	70%
Ausente	4	20%	6	30%
Item 15 - Nível de energia reduzido em toda a faixa de frequências ao longo do traçado					0,012*	90,0%	90,0%	90,0%
Presente	18	90%	2	10%
Ausente	2	10%	18	90%
Item 16 - Nível de energia aumentado em toda a faixa de frequências ao longo do traçado					<0,001*	90,0%	90,0%	90,0%
Presente	18	90%	1	5%
Ausente	2	10%	19	95%
Item 17 Série rica de harmônicos regulares até 4000 Hz					0,058	85,0%	100%	76,9%
Presente	14	70%	0	0
Ausente	6	30%	20	100%
Item 18 - Presença de estrias horizontais irregulares entre harmônicos					0,012*	66,6%	70,0%	62,5%
Presente	14	70%	10	50%
Ausente	6	30%	10	50%
Item 19 - Presença de harmônicos indefinidos ou esboço de harmônicos					0,004*	57,5%	55,1%	63,63%
Presente	16	80%	13	65%
Ausente	4	20%	7	35%
Item 20 Presença predominante de harmônicos de baixa amplitude					<0,001*	57,1%	55,0%	59,1%
Presente	11	55%	7	35%
Ausente	9	45%	13	65%
Item 21 - Presença de harmônicos irregulares					<0,001*	86,0%	80,9%	89,6%
Presente	17	85%	4	20%
Ausente	3	15%	26	80%
Item 22 - Presença de ruído entre os harmônicos abaixo de 4000 Hz					0,042*	80,0%	77,2%	83,3%
Presente	17	85%	5	25%
Ausente	3	15%	15	75%
Item 23 Presença de ruído adicional difuso acima de 4000 Hz					<0,001*	87,5%	85,7%	89,4%
Presente	18	90%	3	15%
Ausente	2	10%	17	85%
Item 24 - Substituição de harmônicos por ruído no traçado espectrográfico					<0,001*	85,0%	79,1%	93,7%
Presente	19	95%	5	25%
Ausente	1	5%	15	75%
Item 25 - Traçado espectrográfico com ruído discreto ou ausente entre os harmônicos abaixo de 4000Hz					0,039*	77,5%	73,9%	82,3%
Presente	17	85%	6	30%
Ausente	3	15%	14	70%

• ^*
  Valores significativos (p<0,05) - Teste Qui-quadrado
• Legenda: PAEV = protocolo de análise espectrográfica da voz; Acu = acurácia; Sens = sensibilidade; Esp = especificidade; n = frequência absoluta que o item foi assinalado pelos juízes; % = percentual; < = menor; HZ = hertz; F_{0 =} Frequência Fundamental

Com relação à dificuldade para operacionalização (identificar o item no espectrograma), observou-se que houve diferença estatisticamente significativa entre as respostas de presença versus ausência de dificuldade. A maioria dos participantes não teve dificuldade na identificação de todos os itens do PAEV (Tabela 2).

Tabela 2
Frequência de distribuição quanto à dificuldade de operacionalização de cada item do protocolo de análise espectrográfica nos espectrogramas apresentados

ITEM DO PAEV	DIFICULDADE NA OPERACIONALIZAÇÃO				valor de p
	PRESENTE		AUSENTE
	n	%	n	%
Item 1 - Presença de ruído no início da emissão	1	2,63%	18	97,37%	<0,001*
Item 2 - Presença de estrias verticais escuras e definidas no início da emissão	5	13,15%	14	86,85%	0,002*
Item 3 - Início da emissão com elevado número de harmônicos irregulares	4	10,52%	15	89,48%	<0,001*
Item 4 - Início do traçado sem irregularidade ou ruído observável	5	13,15%	14	86,85%	<0,001*
Item 5 - Presença de irregularidade do traçado	0	0,00%	19	100%	<0,001*
Item 6 - Perda gradativa da definição/energia do traçado	1	2,63%	18	97,37%	0,002*
Item 7 - Presença de interrupções abruptas no traçado	0	0,00%	19	100%	<0,001*
Item 8 - Presença de traçado espectrográfico regular	3	7,89%	16	92,11%	<0,001*
Item 9 - Presença de harmônicos com pouco brilho	4	10,52%	15	89,48%	0,025*
Item 10 - Diminuição da energia e do número de harmônicos acima de 4000 Hz	2	5,26%	17	94,74%	<0,001*
Item 11 - Presença de harmônicos acima de 4000 Hz	1	2,63%	18	97,37%	<0,001*
Item 12 - Diminuição de energia ou reduzido número de harmônicos até 4000 Hz	2	5,26%	17	94,74%	<0,001*
Item 13 - Incremento de energia entre 1000-3000 Hz	1	2,63%	18	97,37%	0,007*
Item 14 - Predomínio do traçado de F0 em detrimento dos outros harmônicos	3	7,89%	16	92,11%	0,002*
Item 15 - Nível de energia reduzido em toda a faixa de frequências ao longo do traçado	3	7,89%	16	92,11%	<0,001*
Item 16 - Nível de energia aumentado em toda a faixa de frequências ao longo do traçado	1	2,63%	18	97,37%	<0,001*
Item 17 Série rica de harmônicos regulares até 4000 Hz	1	2,63%	18	97,37%	0,007*
Item 18 - Presença de estrias horizontais irregulares entre harmônicos	6	15,78%	13	84,22%	<0,001*
Item 19 - Presença de harmônicos indefinidos ou esboço de harmônicos	0	0,00%	19	100%	<0,001*
Item 20 Presença predominante de harmônicos de baixa amplitude	7	18,41%	12	81,59%	0,002*
Item 21 - Presença de harmônicos irregulares	2	5,26%	17	94,74%	0,025*
Item 22 - Presença de ruído entre os harmônicos abaixo de 4000 Hz	1	2,63%	18	97,37%	<0,001*
Item 23 Presença de ruído adicional difuso acima de 4000 Hz	2	5,26%	17	94,74%	<0,001*
Item 24 - Substituição de harmônicos por ruído no traçado espectrográfico	1	2,63%	18	97,37%	<0,001*
Item 25 - Traçado espectrográfico com ruído discreto ou ausente entre os harmônicos abaixo de 4000Hz	5	13,15%	14	86,85%	<0,001*

• ^*
  Valores significativos (p<0,05) - Teste Qui-Quadrado
• Legenda: PAEV = protocolo de análise espectrográfica da voz; n = frequência absoluta que o item foi assinalado pelos juízes; % = percentual; < = menor; HZ = hertz; F_{0 =} Frequência Fundamental

• Fase 2 - Entrevista cognitiva:

Na EC, apenas 6 itens (2, 5, 14, 15, 19 e 20) não obtiveram correta identificação da intenção, conforme verificado na análise qualitativa. Além disso, os participantes sugeriram exclusão de 5 itens (3, 4, 8, 17 e 25). No Quadro 2, pode ser encontrada a síntese dos resultados nessa etapa da validação do PAEV, assim como as decisões que foram tomadas em relação aos itens do instrumento.

Quadro 2
Itens que sofreram exclusão e reformulação após a entrevista cognitiva e aplicação do Protocolo de Análise Espectrográfica da Voz

Item	Domínio	Decisão	Critério
(2) Presença de estrias verticais escuras e definidas no início da emissão	Início da Emissão	Exclusão do item	Acurácia ≤ 70%
			Dificuldade na identificação da intenção do item
(3) Início da emissão com elevado número de harmônicos irregulares	Início da Emissão	Exclusão do item	Acurácia ≤ 70%
			Sugestão durante a entrevista cognitiva
(4) Início do traçado sem irregularidade ou ruído observável	Início da emissão	Exclusão do item	Acurácia ≤ 70%
			Sugestão durante a entrevista cognitiva
(5) Presença de irregularidade do traçado	Aspectos temporais da emissão	Reformulação do item para: “mudança na configuração do traçado espectrográfico no domínio do tempo”	Dificuldade na identificação da intenção do item
(8) Presença de traçado espectrográfico regular	Aspectos temporais da emissão	Exclusão do item	Sugestão durante a entrevista cognitiva
(14) Predomínio do traçado de F0 em detrimento dos outros harmônicos	Distribuição da energia no traçado	Exclusão do item	Acurácia ≤ 70%
			Dificuldade na identificação da intenção do item
(15) Nível de energia reduzido em toda a faixa de frequências ao longo do traçado	Distribuição da energia no traçado	Manutenção do item sem modificação	Dificuldade na identificação da intenção do item
(17) Série rica em harmônico regulares até 4000 Hz	Distribuição da energia no traçado	Exclusão do item	Sugestão durante a entrevista cognitiva
(18) Presença de estrias horizontais irregulares entre harmônicos	Descrição dos harmônicos	Manutenção do item sem modificação	Acurácia ≤ 70%
(19) Presença de harmônicos indefinidos ou esboço de harmônicos	Descrição dos harmônicos	Manutenção do item sem modificação	Acurácia ≤ 70%
			Dificuldade na identificação da intenção do item
(20) Presença predominante de harmônicos de baixa amplitude	Descrição dos harmônicos	Manutenção do item sem modificação	Acurácia ≤ 70%
			Dificuldade na identificação da intenção do item
(21) Presença de harmônicos irregulares	Descrição dos harmônicos	Reformulação: “presença de harmônicos com trajetória e morfologia irregular (não retilíneo)”	Sugestão durante a entrevista cognitiva
(25) Traçado espectrográfico com ruído discreto ou ausente entre os harmônicos abaixo de 4000Hz	Distribuição do ruído no traçado	Exclusão do item	Sugestão durante a entrevista cognitiva

• Legenda: ≤ = menor ou igual; F_{0 =} Frequência Fundamental

DISCUSSÃO

O processo de aplicação de um questionário ou ferramenta que demanda do sujeito uma resposta exige que ele se engaje em quatro operações cognitivas: compreensão, memória, julgamento e resposta(²³). Dessa forma, os respondentes devem entender qual é a questão perguntada, recuperar informações ou conhecimentos relevantes da memória, fazer um julgamento sobre o item ou sobre as informações recuperadas e selecionar uma resposta. Cada uma dessas operações consiste em uma fonte de variabilidade na aplicação de uma ferramenta e, consequentemente, representa uma potencial fonte de erro quanto à fidedignidade de uma resposta obtida por um instrumento. Por isso, no processo de desenvolvimento de um instrumento, deve-se averiguar se a interpretação do respondente corresponde, de fato, ao que o desenvolvedor do instrumento pretende com o respectivo item(²⁴). Essa avaliação ocorre na etapa de validação baseada nos processos de resposta.

A presente pesquisa teve por objetivo realizar a etapa de validação baseada nos processos de resposta de um protocolo para análise espectrográfica da voz. Esse objetivo foi alcançado e culminou com a reformulação do PAEV. Dessa forma, a versão do PAEV apresentada ao final do presente estudo tem validade baseada nos processos de resposta, indicando que os usuários (fonoaudiólogos e acadêmicos de Fonoaudiologia) compreenderam a aplicação e análise do PAEV.

A versão inicial (antes da realização desta etapa de validação) continha 25 itens, estruturados em cinco domínios. A partir dos resultados encontrados nesta pesquisa, dois itens foram reformulados (5 e 21) e sete itens foram excluídos (2, 3, 4, 8, 14, 17 e 25), obtendo-se uma nova versão do PAEV com 18 itens validados em relação ao processo de respostas.

Deve-se destacar que o PAEV é uma ferramenta a ser aplicada pelo clínico (e não pelo paciente), a partir da inspeção acústica do espectrograma. O objetivo é padronizar o modo de descrição do espectrograma para a caracterização de vozes disfônicas e não disfônicas e melhorar a comunicação entre clínicos e pesquisadores com a utilização da espectrografia. Sendo assim, a interpretação do profissional é essencial para todas as inferências que serão feitas a partir dos resultados de aplicação do PAEV, seja para utilização clínica na avaliação e monitoramento do paciente disfônico, ou para aplicação em pesquisas.

Tal fato reforça a relevância da etapa de validação que foi contemplada nesta pesquisa, uma vez que possibilita identificar as dificuldades do profissional relacionadas à compreensão, memória, julgamento e resposta(²³) dos itens do PAEV. Além disso, tal identificação permite a exclusão ou modificação de itens para uma nova versão da ferramenta.

Os itens 2, 3, 4, 14, 18, 19 e 20 alcançaram uma taxa de acurácia menor ou igual a 70% na identificação do item durante a inspeção acústica do espectrograma. Esse achado pode indicar a dificuldade do participante em compreender o item e em buscar na memória uma referência para identificá-lo no traçado espectrográfico, o que conduz ao maior número de erros. Dos itens citados, os participantes também tiveram dificuldade na identificação da intenção relacionada aos itens 2, 14, 19 e 20. Essa dificuldade pode refletir o desalinhamento entre a intenção dos desenvolvedores do PAEV e a interpretação do participante da pesquisa.

Além da taxa de acurácias menor ou igual a 70%, os itens 3 e 4 receberam a sugestão dos participantes quanto à sua exclusão do PAEV, devido à dificuldade de caracterização de tal item no espectrograma. Nesse sentido, os itens de uma ferramenta que são identificados de maneira inadequada (quando a ferramenta traz em seu constructo a expectativa de uma resposta ou valor de referência) ou desalinhados à intenção original do seu proponente precisam ser excluídos ou reformulados(²¹).

O item 18 obteve uma taxa de acurácia menor ou igual a 70%, embora os participantes não tenham apresentado dificuldade na identificação da intenção do item, nem tenham sugerido a sua reformulação ou exclusão. Dessa forma, o item 18 foi mantido sem modificações na versão final do PAEV. A presença de estrias horizontais irregulares entre harmônicos é descrita classicamente(⁵,¹⁰) como um dos principais componentes para identificação de vozes disfônicas no traçado espectrográfico. Comumente, esse item é descrito pelas nomenclaturas como “estrias horizontais entre harmônicos”(¹⁰,¹¹), “bifurcação de harmônicos”(5) ou “sub-harmônicos”(⁵). Assim, a baixa acurácia (66,6%) encontrada neste estudo quanto à identificação da presença/ausência desse item no traçado espectrográfico pode ser justificada pelas diferentes possibilidades de nomenclatura para descrever tal característica em um espectrograma.

Nesse contexto, mesmo com baixa acurácia, o item 18 cumpriu os outros dois critérios de elegibilidade para manutenção na versão do PAEV ao final desta pesquisa. Obviamente, no processo de treinamento de clínicos e pesquisadores para a aplicação do PAEV, deve-se preconizar a utilização de exemplos de espectrogramas com a descrição de tal item, o que pode facilitar a sua correta identificação.

O objetivo principal dos estudos de validação baseado nos processos de respostas durante o desenvolvimento de um teste ou questionário é compreender o alinhamento, ou não, entre os processos cognitivos dos respondentes, ativados durante a aplicação do teste ou questionário, e a intenção delineada pelos desenvolvedores do instrumento(²⁵). Sendo assim, ao final desta etapa de validação, cabe aos pesquisadores responsáveis pelo desenvolvimento do teste ou questionário estabelecer os critérios para manutenção do item sem modificação, reformulação ou exclusão do item(¹⁴,²¹,²⁶).

Os participantes tiveram dificuldade na identificação da intenção nos itens 5 e 15. Considerando-se que tais itens não cumpriram os outros critérios definidos neste estudo para a exclusão, eles foram mantidos na versão final. No entanto, levando em conta a prerrogativa dos pesquisadores desenvolvedores da ferramenta em avaliar a manutenção, exclusão ou modificação dos itens na versão final, optou-se pela reformulação do item 5 do PAEV, que passou a ser descrito como “mudança na configuração do traçado espectrográfico no domínio do tempo”. Compreendeu-se que a descrição original do item 5 (presença de irregularidade no traçado) era inespecífica, pois não se referia nem à morfologia dos harmônicos, nem à sua trajetória ao longo do tempo. Por sua vez, o item 15 foi mantido sem reformulação.

Durante a EC, os participantes sugeriram a reformulação do item 21. Dessa forma, na versão final do PAEV, o item 21 foi reformulado para “presença de harmônicos com trajetória e morfologia irregular (não retilíneo)”. Os participantes comentaram que poderia haver confundimento entre os itens 5 e 21, ambos modificados para a versão final do PAEV.

Houve a sugestão de exclusão dos itens 8, 17 e 25. Sendo assim, considerando-se a sugestão dos participantes e a avaliação dos pesquisadores desenvolvedores do PAEV quanto à relevância clínica de tais itens, eles foram excluídos da versão final do PAEV. Ao final desta pesquisa, obteve-se uma nova versão do PAEV, que pode ser conferida na Figura 1.

De modo geral, os resultados encontrados nesse estudo suportam a validade do PAEV baseada nos processos de resposta. Uma limitação que pode ser indicada para o presente estudo foi o fato de todos os participantes não terem realizado exatamente o mesmo treinamento sobre o PAEV antes de participar. Tanto os fonoaudiólogos, quanto os estudantes, tinham treinamento prévio em análise espectrográfica; os pesquisadores não tiveram controle sobre as condições de tal treinamento e sobre a real proficiência dos participantes (estudantes e fonoaudiólogos) na inspeção acústica do espectrograma. Por sua vez, o PAEV utiliza terminologia empregada amplamente na área e isso pode ter conduzido ao bom resultado obtido quanto à compreensão dos participantes em relação aos seus itens. Tal limitação não invalida os resultados do presente estudo, mas pode ser explorada em estudos futuros.

CONCLUSÃO

Os participantes especialistas e não especialistas apresentaram taxa de acurácia maior que 70% na identificação da maioria dos itens do PAEV no espectrograma. Apenas sete itens obtiveram acurácia menor ou igual a 70% na avaliação dos participantes. Quanto à dificuldade para operacionalização, a maioria dos participantes não teve dificuldade na identificação de todos os itens do PAEV. Na EC, apenas seis itens não obtiveram correta identificação da intenção, conforme verificado na análise qualitativa. Além disso, os participantes sugeriram exclusão de cinco itens. Dessa forma, a versão final do PAEV, após esta etapa, foi reduzida de 25 para 18 itens.

• Trabalho realizado no Programa de Pós-Graduação em Modelos de Decisão e Saúde, Universidade Federal da Paraíba - UFPB - João Pessoa (PB), Brasil.
• Financiamento: Nada a declarar.

REFERÊNCIAS

• ¹
  Nemr K, Amar A, Abrahão M, Leite GCDA, Köhle J, Santos ADO, et al. Análise comparativa entre avaliação fonoaudiológica perceptivo-auditiva, análise acústica e laringoscopias indiretas para avaliação vocal em população com queixa vocal. Rev Bras Otorrinolaringol. 2005;71(1):13-7. http://dx.doi.org/10.1590/S0034-72992005000100003
  » http://dx.doi.org/10.1590/S0034-72992005000100003
• ²
  Barsties B, De Bodt M. Assessment of voice quality: current state-of-the-art. Auris Nasus Larynx. 2015;42(3):183-8. http://dx.doi.org/10.1016/j.anl.2014.11.001 PMid:25440411.
  » http://dx.doi.org/10.1016/j.anl.2014.11.001
• ³
  Lopes L, Cavalcante D. Intensidade do desvio vocal: integração de dados perceptivo-auditivos e acústicos em pacientes disfônicos. CoDAS. 2014;26:382-8. http://dx.doi.org/10.1590/2317-1782/20142013033 PMid:25388071.
  » http://dx.doi.org/10.1590/2317-1782/20142013033
• ⁴
  Eadie TL, Doyle PC. Classification of dysphonic voice: acoustic and auditory-perceptual measures. J Voice. 2005;19(1):1-14. http://dx.doi.org/10.1016/j.jvoice.2004.02.002 PMid:15766846.
  » http://dx.doi.org/10.1016/j.jvoice.2004.02.002
• ⁵
  Titze IR. Workshop on Acoustic Voice Analysis: Summary Statement [Internet]. 1995 [citado em 2022 Fev 7]. Disponível em: https://scholar.google.com/scholar?cluster=16280338619419163408&hl=en&as_sdt=2005&sciodt=0,5
  » https://scholar.google.com/scholar?cluster=16280338619419163408&hl=en&as_sdt=2005&sciodt=0,5
• ⁶
  Brockmann-Bauser M, Drinnan MJ. Routine acoustic voice analysis: time to think again? Curr Opin Otolaryngol Head Neck Surg. 2011;19(3):165-70. http://dx.doi.org/10.1097/MOO.0b013e32834575fe PMid:21483265.
  » http://dx.doi.org/10.1097/MOO.0b013e32834575fe
• ⁷
  Christmann MK, Brancalioni AR, Freitas CRD, Vargas DZ, Keske-Soares M, Mezzomo CL, et al. Uso do programa MDVP em diferentes contextos: revisão de literatura. Rev CEFAC. 2015;17(4):1341-9. http://dx.doi.org/10.1590/1982-021620151742914
  » http://dx.doi.org/10.1590/1982-021620151742914
• ⁸
  Lopes LW, Alves GÂDS, Melo MLD. Content evidence of a spectrographic analysis protocol. Rev CEFAC. 2017;19(4):510-28. http://dx.doi.org/10.1590/1982-021620171942917
  » http://dx.doi.org/10.1590/1982-021620171942917
• ⁹
  Bastilha GR, Pagliarin KC, Moraes DAO, Cielo CA. Spectrographic Vocal Assessment Protocol (SVAP): Reliability and Criterion Validity. J Voice. 2021 Nov 1;35(6):931.e1-14. http://dx.doi.org/10.1016/j.jvoice.2020.02.017 PMid:32209278.
  » http://dx.doi.org/10.1016/j.jvoice.2020.02.017
• ¹⁰
  Yanagihara N. Significance of harmonic changes and noise components in hoarseness. J Speech Hear Res. 1967;10(3):531-41. http://dx.doi.org/10.1044/jshr.1003.531 PMid:6081935.
  » http://dx.doi.org/10.1044/jshr.1003.531
• ¹¹
  Lopes LW, Alves GÂDS, Melo MLD. Content evidence of a spectrographic analysis protocol. Rev CEFAC. 2017;19(4):510-28. http://dx.doi.org/10.1590/1982-021620171942917
  » http://dx.doi.org/10.1590/1982-021620171942917
• ¹²
  Pernambuco L, Espelt A, Magalhães H, Lima KC. Recommendations for elaboration, transcultural adaptation and validation process of tests in Speech, Hearing and Language Pathology. CoDAS. 2017 Jun 8;29(3):e20160217. PMid:28614460.
• ¹³
  Gonçalves MIR, Pontes PADL, Vieira VP, Pontes AADL, Curcio D, Biase NGD. Função de transferência das vogais orais do Português brasileiro: análise acústica comparativa. Rev Bras Otorrinolaringol (Engl Ed). 2009;75:680-4.
• ¹⁴
  García JP, Baena IB. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44. PMid:24444741.
• ¹⁵
  Plake BS, Wise LL. What Is the Role and Importance of the Revised AERA, APA, NCME Standards for Educational and Psychological Testing? Educ Meas. 2014 Dez 1;33(4):4-12. http://dx.doi.org/10.1111/emip.12045
  » http://dx.doi.org/10.1111/emip.12045
• ¹⁶
  Boateng GO, Neilands TB, Frongillo EA, Melgar-Quiñonez HR, Young SL. Best Practices for Developing and Validating Scales for Health, Social, and Behavioral Research: A Primer. Front Public Health. 2018 Jun 11;6:149. http://dx.doi.org/10.3389/fpubh.2018.00149 PMid:29942800.
  » http://dx.doi.org/10.3389/fpubh.2018.00149
• ¹⁷
  Beatty PC, Willis GB. Research synthesis: the practice of cognitive interviewing. Public Opin Q. 2007;71(2):287-311. http://dx.doi.org/10.1093/poq/nfm006
  » http://dx.doi.org/10.1093/poq/nfm006
• ¹⁸
  Blair J, Conrad FG. Sample size for cognitive interview pretesting. Public Opin Q. 2011;75(4):636-58. http://dx.doi.org/10.1093/poq/nfr035
  » http://dx.doi.org/10.1093/poq/nfr035
• ¹⁹
  Fehring RJ. The fehring model. In: Classification of Nursing Diagnoses. Philadelhpia: JB Lippincott; 1994. p. 55-62.
• ²⁰
  Castillo-Díaz M, Padilla JL. How cognitive interviewing can provide validity evidence of the response processes to scale items. Soc Indic Res. 2013 Dez;114(3):963-75. http://dx.doi.org/10.1007/s11205-012-0184-8
  » http://dx.doi.org/10.1007/s11205-012-0184-8
• ²¹
  Peterson CH, Gischlar KL, Peterson NA. Item construction using reflective, formative, or rasch measurement models: implications for group work. J Spec Group Work. 2017 Jan 2;42(1):17-32. http://dx.doi.org/10.1080/01933922.2016.1264523
  » http://dx.doi.org/10.1080/01933922.2016.1264523
• ²²
  Hosmer DW, Lemeshow S. Applied logistic regression. New York: Willey; 2000.. http://dx.doi.org/10.1002/0471722146
  » http://dx.doi.org/10.1002/0471722146
• ²³
  Tourangeau R. Cognitive science and survey methods: a cognitive perspective. In: Tourangeau R, editor. Cognitive aspects of survey design: building a bridge between disciplines. Washington: National Academy Press; 1984. p. 73-100.
• ²⁴
  Ryan K, Gannon-Slater N, Culbertson MJ. Improving survey methods with cognitive interviews in small- and medium-scale evaluations. Am J Eval. 2012;33(3):414-30. http://dx.doi.org/10.1177/1098214012441499
  » http://dx.doi.org/10.1177/1098214012441499
• ²⁵
  Padilla JL, Benítez I. Validity evidence based on response processes. Psicothema. 2014;26(1):136-44. PMid:24444741.
• ²⁶
  Hawkins M, Elsworth GR, Hoban E, Osborne RH. Questionnaire validation practice within a theoretical framework: a systematic descriptive literature review of health literacy assessments. BMJ Open. 2020 Jun 1;10(6):e035974. http://dx.doi.org/10.1136/bmjopen-2019-035974 PMid:32487577.
  » http://dx.doi.org/10.1136/bmjopen-2019-035974

Datas de Publicação

• Publicação nesta coleção
  29 Mar 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  04 Jul 2023
• Aceito
  30 Nov 2023