Sensibilidade e especificidade da leitura da cicatriz vacinal do BCG

Sensibility and speficity of the BCG scar reading

ARTIGO ORIGINAL

Sensibilidade e especificidade da leitura da cicatriz vacinal do BCG

Sensibility and speficity of the BCG scar reading

Susan M Pereira^I; Ana L Bierrenbach^II; Inês Dourado^I; Maurício L Barreto^I; Maria Yury Ichihara^I; Miguel A Hijjar^III; L C Rodrigues^II

^IInstituto de Saúde Coletiva, Universidade Federal da Bahia. Salvador, BA, Brasil

^IILondon School of Hygiene and Tropical Medicine, London University. London, UK

^IIICentro de Referência Prof. Hélio Fraga, Fundação Nacional de Saúde. Rio de Janeiro, RJ, Brasil

^{Endereço para correspondência}

RESUMO

OBJETIVO: Validar a utilização da cicatriz vacinal de BCG como um indicador de vacinação.

MÉTODOS: Foi realizado um estudo transversal em 52.348 escolares, entre 6 e 14 anos de idade, que possuíam exame de cicatriz vacinal do BCG e que participaram de um ensaio clínico randomizado e controlado na cidade de Manaus, Brasil. Os dados da leitura da cicatriz vacinal foram comparados com a informação sobre a vacinação passada fornecida pelos cartões vacinais ou informação dos responsáveis. Em uma subamostra foi realizada leitura dupla com cálculo do coeficiente Kappa. Para análise dos dados utilizou-se o Stata 7.

RESULTADOS: Do total de 52.348 escolares estudados, 29.254 possuíam informação sobre cicatriz vacinal coletada por meio de carta aos pais, e 4.947 possuíam história de vacinação coletada pelo cartão de vacinas. Observou-se elevada concordância entre a dupla leitura de cicatriz vacinal (Kappa =0,81). A sensibilidade da leitura de cicatriz vacinal foi 96,6% (95% IC 96,0-97,1) e a especificidade foi 71,1% (95% IC 55,7-83,7) quando o padrão ouro utilizado foi a concordância entre a carta aos pais e a informação do cartão de vacinas. A sensibilidade foi de 96,1%, 97,3% e 95,3% para crianças vacinadas até um mês de idade, até 4 meses e até um ano de idade, respectivamente.

CONCLUSÕES: Os valores encontrados para sensibilidade e especificidade foram independentes da idade da realização da leitura de cicatriz vacinal. O exame da cicatriz vacinal mostrou ser um bom indicador para avaliar a situação vacinal referente ao BCG.

Descritores: Vacina BCG.Vacinação. Cicatriz. Reprodutibilidade de resultados. Estudos transversais.

ABSTRACT

OBJECTIVE: To validate the BCG scar as a marker of BCG vaccination status.

METHODS: A cross-sectional survey was carried out among 53,348 schoolchildren aged 6-14 years who underwent BCG scar examination as part of a large BCG vaccine trial taking place in the city of Manaus, Brazil. Results of BCG scar reading were compared with information on vaccine status of their vaccination cards or provided by parents or guardians. Double-reading was performed in a sub-sample. Data analysis was conducted using Stata 7 and Kappa coefficient.

RESULTS: Of 52,348 schoolchildren studied, vaccine status information from parents/guardian letters was available for 29,254 and from vaccination cards for 4,947. There was found a high agreement between the double-readings of the scars (Kappa=0.81). When the agreement between letter and card information was the gold standard, the sensitivity of BCG scar readings was 96.6% (95%CI 96.0-97.1) and the specificity was 71.1% (95%CI 55.7-83.7). The sensitivity was 96.1%, 97.3% and 95.3% for children vaccinated up to one month of age, four months and one year, respectively.

CONCLUSIONS: Sensitivity and specificity did not show an association with the child's age at the scar reading. BCG scar was a good marker of BCG vaccination status regardless of age - from the first years of life up to 14 years old.

Keywords: BCG vaccine. Vaccination. Cicatrix. Reproducibility of results. Cross-sectional studies.

INTRODUÇÃO

A realização de estudos observacionais sobre a eficácia da vacina BCG e de inquéritos tuberculínicos para estimar a prevalência de infecção por Mycobacterium tuberculosis entre indivíduos que não receberam a vacina BCG necessita definir o passado de vacinação com BCG.¹⁴ Esses estudos, em sua maioria, usaram a presença da cicatriz como o principal indicador de vacinação com BCG, devido ao fato de que a informação acerca de historia de vacinação, obtida pelos registros médicos ou de cartões de vacinas, nem sempre está disponível para todos os participantes, particularmente em países em desenvolvimento. No Brasil, a vacina BCG, cepa Moreau-Rio de Janeiro, é recomendada em crianças menores de cinco anos, sendo obrigatória em menores de um ano. É utilizada na dose de 0,1 ml, devendo ser administrada em recém-nascidos nas maternidades.⁹ A vacina BCG é usualmente aplicada na inserção inferior do músculo deltóide direito e, na maioria das vezes, provoca o desenvolvimento de uma cicatriz, que pode ser reconhecida por sua localização e aparência. A leitura da cicatriz vacinal do BCG, no entanto, não é perfeita. A vacinação pode não deixar uma cicatriz visível, desaparecendo com o crescimento da criança, ou ser confundida com cicatrizes de outras etiologias.⁶ A validade da cicatriz vacinal como um indicador de vacinação passada é importante para a interpretação correta desses resultados.

Em diversos estudos realizados, observou-se uma sensibilidade da leitura da cicatriz vacinal, acima de 90%.¹ Outros estudos apresentaram valores menores, sendo observada ocorrência de variação nas estimativas.^6,7,17 Dentre os fatores sugeridos como relacionados a essa variação estão: a vacinação no primeiro mês de vida, o tempo decorrido entre vacinação e a sua leitura, diferenças na potência das vacinas, erros ou deficiência na padronização da aplicação de técnicas e contradições na habilidade de leitura da cicatriz.^6,7

Poucos estudos avaliaram a especificidade de leitura da cicatriz de BCG, possivelmente devido à dificuldade em definir um padrão ouro para a ausência de vacinação. Dentre esses, a especificidade encontrada foi de 52% e 97%.^10,17

No Brasil, está em andamento um estudo de intervenção para avaliar a eficácia da segunda dose da vacina BCG contra tuberculose e hanseníase (BCG-REVAC), nas cidades de Salvador(BA) e Manaus (AM).² No presente artigo, foram analisados os dados referentes a Manaus, com a finalidade de estimar a validade da leitura da cicatriz vacinal como indicador de vacinação passada com o BCG. Foi comparada a leitura da cicatriz vacinal de cada criança com a informação obtida no cartão de vacinas e/ou através de informação escrita obtida do responsável. Os resultados da análise realizada com os dados coletados em Salvador foram recentemente publicados, tendo sido encontrada alta sensibilidade (98%) e especificidade (85%) quando havia concordância entre o cartão de vacinas e a informação do responsável. Esses achados não foram modificados pela idade da criança no momento da vacinação ou da leitura da cicatriz vacinal.¹¹

O objetivo do presente artigo é validar a utilização da cicatriz vacinal de BCG como indicador de vacinação, adotando a mesma metodologia do trabalho realizado em Salvador, BA.¹¹

MÉTODOS

A população de estudo é composta por 52.348 escolares entre 6 e 14 anos de idade, participantes do ensaio clínico (BCG-REVAC) na cidade de Manaus, Amazonas.² Uma equipe de auxiliares de enfermagem foi treinada por três enfermeiras-padrão do Ministério da Saúde, para o exame da cicatriz vacinal. A equipe visitou as escolas selecionadas, realizando coleta de dados pessoais na secretaria de cada escola (nome da criança, nome da mãe, endereço, data de nascimento, série e turma). Foram enviadas cartas para os responsáveis dos escolares, perguntando sobre data de vacinação BCG no passado, número de doses e solicitando o cartão de vacina, caso disponível. Esses dados foram anotados em questionário padronizado.

Os dados de identificação foram confirmados durante a inspeção da parte superior do braço direito dos escolares para identificação da cicatriz de BCG. Esta leitura foi classificada como presente (uma ou duas cicatrizes), ausente ou duvidosa. Este trabalho foi realizado desconhecendo-se a informação acerca de vacinação passada existente nos cartões de vacina ou cartas. Uma subamostra composta por 1.070 crianças, representando indivíduos examinados por todas as equipes, e também por conveniência, foi selecionada para repetição da leitura de cicatriz. Enfermeiras treinadas e desconhecendo o resultado da primeira leitura e as informações contidas no cartão de vacina e carta aos pais reexaminaram a cicatriz nesse grupo. Excluíram-se da análise todas as crianças com duas doses de BCG, na leitura da cicatriz, no cartão de vacina ou na informação dos responsáveis, bem como aquelas com leitura duvidosa, e com registros apresentando inconsistência quanto à data de vacinação (anterior ao seu nascimento).

Foi utilizado o coeficiente Kappa para estimar a concordância entre a leitura realizada por dois avaliadores. Sensibilidade e especificidade foram estimados usando-se três padrões ouro isoladamente: informação dos pais, informação do cartão e concordância entre a informação do pais e cartão de vacinação. A sensibilidade da leitura da cicatriz vacinal foi considerada como a proporção dos indivíduos com informação positiva dos responsáveis e/ou registro de passado de vacina BCG no cartão de vacinação que desenvolveram uma cicatriz reconhecida ao exame físico. A especificidade foi considerada como a proporção de indivíduos com informação negativa dos pais e/ou nenhum relato do cartão sobre a vacina BCG que não possuem evidência de cicatriz BCG ao exame clínico. Para fins de análise, os dados por idade foram agrupados em "tercis".³ A estimativa da sensibilidade para uma dose da vacina BCG foi realizada excluindo-se crianças que apresentavam duas cicatrizes ao exame ou possuíam cartões de vacina ou carta dos responsáveis relatando duas doses de BCG no passado. Intervalos de confiança binomiais exatos foram calculados considerando-se um valor de alpha de 95%.

RESULTADOS

Das 55.856 crianças que tiveram a cicatriz vacinal, foram excluídas 35 (<1%) que tinham leitura duvidosa e 3.473 (6%) que tinham duas cicatrizes. Permaneceram 52.348, sendo que 8.812 (17%) não apresentavam cicatriz e 43.536 (83%) possuiam uma cicatriz. Das crianças incluídas na análise, 32.980 (59%) tinham informação dos responsáveis. Foram excluídas 1.839 crianças (5,5%) porque as cartas tinham dados incompletos, e 152 (0,4%) porque os responsáveis relataram que as crianças tinham recebido duas doses de BCG. Das 30.989 crianças que permaneceram, foram excluídas 1.735 em cujos registros constavam duas cicatrizes ao exame.

A análise foi realizada com 29.254 escolares. Destes, 24.584 (84%) apresentavam história positiva de vacinação e 4.670 (16%) não possuíam história vacinal com BCG. Apenas 5.857 (11%) apresentaram o cartão de vacina para análise. Destes, 482 (8%) foram excluídos, devido à presença de duas cicatrizes ao exame e 428 (7,3%) por informação errada ou incompleta (data de vacina não mencionada, sem idade ou data de nascimento e data da vacinação anterior a data do nascimento). De um total de 4.592 crianças com cartões de vacina e cartas enviadas aos pais, 4.520 (98%) apresentaram concordância em relação ao dia mês e ano em que receberam vacinação passada com BCG.

A Tabela 1 compara os três grupos, em termos do número de doses de BCG, sexo e idade. A proporção de crianças com uma cicatriz ou com ausência de cicatriz foi aparentemente similar no grupo com leitura de cicatriz vacinal e no grupo com cartas. A proporção de crianças com passado de vacinação BCG informada pelos responsáveis foi alta, elevando-se mais quando o cartão de vacinas foi a fonte de informação utilizada. Observou-se também que crianças com informação obtida pelo cartão vacinal eram, em média, mais jovens que aquelas com apenas leitura da cicatriz e cartas aos pais. A distribuição de sexo foi similar entre os grupos contendo informação do responsável e cartão de vacina, sendo diferente em relação ao grupo contendo informação obtida na leitura da cicatriz vacinal.(P<0.001)

Foi observada uma concordância elevada na leitura dupla da cicatriz vacinal. Considerando-se unicamente a leitura de uma cicatriz, a concordância foi de 91,8%, com Kappa de 0,83 (P<0.001). A leitura de uma ou duas cicatrizes, os valores foram de 90,8%, com Kappa de 0,81 (P<0.001), respectivamente.

A Tabela 2 apresenta os resultados de sensibilidade e especificidade utilizando-se dois padrão-ouro. A sensibilidade foi mais elevada quando o cartão de vacinas e não a carta aos pais era considerado o padrão-ouro (96,1% e 90,3%, respectivamente). A especificidade foi mais elevada quando a informação das cartas e não dos cartões eram consideradas como padrão-ouro (48,1% e 22,9%, respectivamente).

A Tabela 3 apresenta os dados analisados por idade da criança no momento do exame da cicatriz vacinal. Observa-se uma discreta tendência de declínio e aumento da especificidade com a elevação da idade à leitura da cicatriz vacinal, quando cartas foram consideradas o padrão ouro. Não foi observada diferença por sexo na sensibilidade ou especificidade (dado não apresentado).

A Tabela 4 apresenta os valores de sensibilidade e especificidade para escolares que apresentavam informação do cartão vacinal e da carta aos pais, sendo considerado como padrão-ouro a concordância entre as duas fontes de informação. A especificidade foi muito baixa (13,3%) quando houve discordância entre o cartão e a carta, elevando-se substancialmente (71,1%) quando ambos concordavam. A sensibilidade foi muito alta (96,6%) quando houve concordância, permanecendo elevada (86,1%) quando houve discordância. Não foram encontradas diferenças entre os três grupos de idade (dados não apresentados).

Utilizando-se as informações das datas de vacinação existentes no cartão, observou-se que 21,8% das crianças vacinadas receberam a primeira dose de BCG no primeiro mês de vida, 39,3% nos primeiros quatro meses, 77,7% no primeiro ano de vida, e 86,5% nos primeiros dois anos. Analisando-se por idade à vacinação, observou-se que a sensibilidade da leitura da cicatriz vacinal foi de 96,1% (95% IC 95,4-96,6, n=957) em crianças vacinadas durante o primeiro mês de vida, 97,3% (95% IC 96,5-98,1, n=1729) para aquelas vacinadas entre o primeiro e o quarto mês, e 95,3% (95% IC 93,5-96,8, n=731) para aqueles vacinados a partir do quarto mês até um ano de idade. A sensibilidade foi mais baixa 93,8% (92,1-95,3) para crianças vacinadas após um ano de idade. Para crianças vacinadas no primeiro dia de vida e primeira semana de vida a sensibilidade foi de 95,6% (95% CI 92,5-97,9, n=241) e 95,2% (95% CI 92,6-97,2, n=382), respectivamente.

DISCUSSÃO

Os principais achados do presente estudo foram os seguintes: 1) Foi encontrada alta sensibilidade e especificidade da leitura da cicatriz vacinal quando o padrão ouro utilizado foi a concordância entre a informação da carta e do cartão. 2) A sensibilidade não depende da idade da criança à vacinação. 3) Sensibilidade e especificidade não dependem da idade da criança durante a leitura da cicatriz vacinal. Estes achados referentes à população de escolares de Manaus são consistentes com os resultados encontrados em Salvador.¹¹ As duas cidades seguem as recomendações do Programa Nacional de Imunização, e possuem coberturas vacinais similares nas duas últimas décadas.⁹ Apesar da população dessas cidades possuir composições étnicas diferentes, os achados semelhantes em relação à sensibilidade e especificidade sugerem que grupo étnico não interfere com a capacidade de formar e manter cicatrizes.⁸ Uma limitação possível observada é a ausência relativa de independência entre a informação obtida pela leitura da cicatriz vacinal e aquela obtida pela carta enviada aos responsáveis.¹² Alguns responsáveis poderiam tentar realizar a leitura da cicatriz vacinal para responder às cartas. Isto poderia levar a uma superestimativa da validade da leitura da cicatriz quando cartas aos pais eram utilizadas como padrão ouro, mas não teriam nenhum efeito nas estimativas realizadas utilizando-se o cartão de vacinas como padrão ouro.

Os presentes resultados permitem a inclusão do estudo entre aqueles com achados de alta sensibilidade para leitura da cicatriz vacinal (acima de 90%) em crianças vacinadas fora do período neonatal.^1,11

A sensibilidade não variou para aquelas crianças vacinadas no período neonatal quando comparadas com aquelas vacinadas entre 1 e 4 meses de vida. Esses achados diferem dos apresentados por Floyd et al⁷ (2000). Além disto, a sensibilidade da leitura da cicatriz vacinal foi independente da idade no momento da leitura, diferente dos achados de Fine.⁶

A alta especificidade encontrada confirma os resultados de estudos anteriormente relatados no Brasil¹¹ e Canadá,¹⁷ sendo superiores àqueles reportados no Quênia.¹⁰

As variações encontradas nos diferentes estudos acerca da validade da leitura da cicatriz vacinal são atribuídas a diversos aspectos , como: diferenças metodológicas relacionadas com a cepa vacinal e dose, esquema de vacinação (alguns países recomendam metade da dose para crianças menores de 3 meses), padrão-ouro utilizado, coberturas vacinais, tempo decorrido entre a vacinação e sua leitura, qualidade no treinamento para aplicação de vacinas ou para leitura da cicatriz. Entretanto, estas diferenças não explicam consistentemente as variações encontradas.^6,10

Os resultados de elevada sensibilidade e concordância entre a dupla leitura da cicatriz vacinal obtidos em Salvador e Manaus, são consistentes com a qualidade dos profissionais de saúde e a uniformidade dos treinamentos realizados aos profissionais responsáveis pela produção, manutenção e administração de vacinas, assim como do treinamento oferecido para a leitura da cicatriz vacinal.

Em ambas as cidades, Manaus e Salvador, a sensibilidade diminuiu e a especificidade elevou-se com a idade, quando o padrão ouro utilizado foi cartas aos pais. Este achado possivelmente está relacionado com viés de memória do responsável e ano com o declínio da presença de cicatriz nas crianças.

O presente estudo encontrou elevada especificidade quando o padrão ouro utilizado foi a concordância entre a informação do cartão de vacinas e da carta aos responsáveis. Os resultados apresentados confirmam aqueles obtidos em Salvador - valores elevados de especificidade, quando houve concordância entre informação do responsável e do cartão, sugerindo que a leitura da cicatriz vacinal é um melhor indicador de história de vacinação com BCG do que a informação do cartão ou da família, no Brasil, sugerindo imperfeição na utilização da informação do responsável em relação ao estado vacinal da criança.¹⁵

Observou-se que a informação obtida através do cartão vacinal é incompleta. Neste aspecto, há algumas particularidades a respeito da forma como esses cartões são preenchidos no Brasil. De acordo com recomendações do Ministério da Saúde, a vacina BCG ou outras vacinas podem ser administradas pelos centros de saúde mesmo na ausência do cartão original, para evitar oportunidades perdidas de vacinação, o que pode ter contribuído com os achados de baixa especificidade.¹¹ Os achados do presente estudo apontam para que a cicatriz vacinal seja um melhor indicador de passado vacinal do que cartas aos pais ou cartões de vacinas.

Outro importante argumento para considerar a leitura da cicatriz vacinal como um bom indicador de vacinação BCG no passado, são as altas estimativas de eficácia do BCG contra meningite tuberculosa obtida em três estudos observacionais realizados no Brasil, que utilizaram esta medida como indicador de vacinação passada.^4,5,16 Nesses estudos é pouco provável a ocorrência de erro de classificação não diferencial, o qual levaria à subestimativa da eficácia vacinal.¹³ Finalmente, é possível que a administração incorreta da vacina (por exemplo subcutânea e não intradérmica) não leve à formação de cicatriz e nem à sua proteção; ambos possivelmente relacionados à alguns aspectos imunológicos.⁶

Em conclusão, a cicatriz BCG é um marcador válido de vacinação com BCG, achado este independente da idade à vacinação nos primeiros anos de vida e que permanece elevada pelo menos até à idade de 14 anos.

AGRADECIMENTOS

À Dra. Maria de Lourdes de Sousa Maia, coordenadora do Programa Nacional de Imunizações da Fundação Nacional de Saúde/ Ministério da Saúde e à equipe do projeto BCG/REVAC, que possibilitaram a execução deste projeto; às enfermeiras Ivanise Cunha, da Fundação Nacional de Saúde/ Brasil, Edna Ackerman, do Centro de Referência Hélio Fraga/ Brasil, Raimunda Campos dos Santo, da Secretaria de Saúde da Bahia, que realizaram o treinamento das equipes de campo em Salvador e Manaus; à enfermeira Fátima Praia, da Secretaria Estadual de Saúde do Amazonas, e ao sociólogo José Carlos Lima Góes, do Instituto de Saúde Coletiva/ UFBA, que coordenaram o trabalho de campo.

Subvencionado pela Fundação Nacional de Saúde do Ministério da Saúde e pelo "Department for International Development (DFID)", Inglaterra.

Recebido em 7/3/2002

Reapresentado em 19/8/2002

Aprovado em 23/9/2002.

• 1. Baily GV.Tuberculosis prevention trial, Madras. Indian J Med Res 1980;72 Suppl:1-74.
• 2. Barreto ML, Dourado MIC, Pereira SM, Rodrigues L, Hijjar MA, Maia MLS. Avaliação da eficácia da segunda dose de BCG na idade escolar. Inf Epidemiol SUS 1996;1:59-65.
• 3. Browner WS, Newman TB, Cummings SR. Designing a new study: diagnostic tests. In: Hulley SB, Cummings SR. Designing clinical research: an epidemiologic approach. Baltimore: Williams & Wilkins; 1988. p. 87-97.
• 4. Camargos PAM, Guimarães MDC, Antunes CMF. Risk assessment for acquiring meningitis tuberculosis among children not vaccinated with BCG: a case-control study. Int J Epidemiol 1988;17:193-7.
• 5. Costa MCN, Mota ELA, Pinto LLS. Efeito protetor do BCG intradérmico na meningite tuberculosa. Bol Ofic Sanit Panam 1991;110:26-32.
• 6. Fine PEM, Ponninghaus JM, Maine N. The distribution and implications of BCG scars in northern Malawi. Bull World Health Organ 1989;67:35-42.
• 7. Floyd S, Ponnighaus JM, Bliss L, Warndorff DK, Kasunga A, Mogha P, Fine PE. BCG scars in northern Malawi: sensitivity and repeatability of scar reading, and factors affecting scar size. Int J Tuberc Lung Dis 2000;4:1133-42.
• 8. Fundação IBGE. Síntese de indicadores sociais, 1999. [on-line]. Disponível em URL: http://www2.ibge.gov.br/ibge/ftp/ftp.php?dir=/Indicadores_Sociais/Sintese_de_Indicadores_Sociais_2000 [2001 8 ago].
• ⁹
  Ministério da Saúde. Segundo informe técnico sobre vacinação/revacinação BCG Brasília (DF); 1994.
• 10. Orege P, Fine PEM, Lucas SB, Obura M, Okelo C, Okuku P. Case-control study of BCG vaccination as a risk factor for leprosy and tuberculosis in Western Kenya. Int J Lepr 1992;61:542-9.
• 11. Pereira SM, Dourado MI, Barreto ML, Cunha SS, Ichihara MY, Hijjar MA et al. Sensitivity and specificity of BCG scar reading in Brazil. Int J Tuberc Lung Dis 2001;5:1067-70.
• 12. Reid MC, Lachs MS, Feinstein AR. Use of methodological standards in diagnostic test research: getting better but still not good. JAMA 1995;274:645-51.
• 13. Rodrigues LC, Smith PG. Use of the case-control approach in vaccine evaluation: efficacy and adverse effects. Epidemiol Rev 1999;21:56-72.
• 14. Smith P. Retrospective assessment of the effectiveness of BCG vaccination against tuberculosis using the case-control method. Tubercle 1982;63:23-35.
• 15. Suarez L, Simpson DM, Smith DR. Errors and correlates in parental recall of child immunizations: effects on vaccination coverage estimates. Pediatrics 1997;99:1-5.
• 16. Wunsch Filho V, de Castilho EA, Rodrigues LC, Huttly SR. Effectiveness of BCG vaccination against tuberculous meningitis: a case-control study in Sao Paulo, Brazil. Bull World Health Organ 1990;68:69-74.
• 17. Young TK, Mirdad S. Determinants of tuberculin sensitivity in a child population covered by mass BCG vaccination. Tuber Lung Dis 1992;73:94-100.

Datas de Publicação

• Publicação nesta coleção
  04 Abr 2003
• Data do Fascículo
  Abr 2003

Histórico

• Aceito
  23 Set 2002
• Revisado
  19 Ago 2002
• Recebido
  07 Mar 2002