AO EDITOR
O uso generalizado do aprendizado de máquina criou a possibilidade de gerar modelos de previsão robustos específicos para cada paciente. No entanto, é necessário ter cuidado ao usá-los em populações heterogêneas de pacientes graves.(11 Huang CY, Grandas FG, Flechet M, Meyfroidt G. Clinical prediction models for acute kidney injury in the intensive care unit: A systematic review. Rev Bras Ter Intensiva. 2020;32(1):123-32.) A literatura recente demonstrou grandes avanços no campo da previsão de lesão renal aguda e da necessidade de terapia de substituição renal (TSR).(22 Ramos FJ, França AM, Salluh JI. Subphenotyping of critical illness: where protocolized and personalized intensive care medicine meet. Rev Bras Ter Intensiva. 2022;34(3):316-8.) Em uma grande coorte multicêntrica, avaliamos o desempenho de um modelo publicado anteriormente,(33 França AR, Rocha E, Bastos LS, Bozza FA, Kurtz P, Maccariello E, et al. Development and validation of a machine learning model to predict the use of renal replacement therapy in 14,374 patients with COVID-19. J Crit Care. 2023;80:154480.) que prevê a necessidade de TSR em pacientes de unidade de terapia intensiva (UTI) com doença pelo coronavírus 2019 (COVID-19), em pacientes de UTI geral.
Recentemente, usando uma metodologia orientada por dados em uma coorte multicêntrica de 14.374 pacientes graves com COVID-19, desenvolvemos e validamos um modelo de previsão de aprendizado de máquina para prever o uso de TSR (COVID-19-RRT Model).(33 França AR, Rocha E, Bastos LS, Bozza FA, Kurtz P, Maccariello E, et al. Development and validation of a machine learning model to predict the use of renal replacement therapy in 14,374 patients with COVID-19. J Crit Care. 2023;80:154480.) No presente estudo, realizamos uma validação externa do COVID-19-RRT Model em uma coorte de pacientes adultos sem COVID-19 internados em 126 UTIs em 2022 em uma rede hospitalar privada brasileira. Os dados foram adquiridos por meio de uma solução usada para avaliação de qualidade (Epimed Monitor).(44 Zampieri FG, Soares M, Borges LP, Salluh JI, Ranzani OT. The Epimed Monitor ICU Database®: A cloud-based national registry for adult intensive care unit patients in Brazil. Rev Bras Ter Intensiva. 2017;29(4):418-26.) O estudo foi aprovado pelo Comitê de Revisão Institucional após o fornecimento do consentimento informado (Instituto D'Or de Pesquisa e Ensino [IDOR], CAAE:17079119.7.0000.5249). O desempenho da previsão foi avaliado em termos de calibração (gráficos e pontuação de Brier) e discriminação (área sob a curva ROC [ASC-ROC]). Uma descrição dos materiais e métodos utilizados é apresentada no Material Suplementar (Tabela 1S, 2S e Figura 1S).
Em 2022, 8.735 pacientes de UTI adulto sem COVID-19 precisaram de suporte respiratório precoce. Desses, 770 (8,8%) pacientes foram submetidos à TSR, uma porcentagem menor do que a da coorte de desenvolvimento (12%) (Tabela 1). Os pacientes da coorte de validação externa sem COVID-19 eram mais velhos (idade média de 72 anos versus 56 anos), mais frequentemente do sexo feminino (54% versus 36%) e mais frequentemente frágeis (43% versus 16%) do que os da coorte de desenvolvimento do modelo. A internação média na UTI foi mais curta (6 versus 10 dias), e a mortalidade na UTI foi menor em comparação com o grupo de desenvolvimento (18% versus 22%). Na coorte não relacionada à COVID-19, a ASC-ROC do modelo foi de 0,82 (intervalo de confiança de 95% [IC95%] 0,80 - 0,83), maior do que na coorte de validação interna (0,79; IC95% 0,78 - 0,82). O escore de Brier foi comparável entre o conjunto de dados de validação externa e o conjunto de dados de validação de intervalo; no entanto, os gráficos de calibração mostraram superestimação das probabilidades de TSR previstas, especialmente para pacientes de baixo risco (Figura 1).
Características clínicas e desfechos de pacientes graves da unidade de terapia intensiva geral que precisaram de suporte respiratório (nas primeiras 24 horas após a admissão) e que receberam terapia de substituição renal
Apesar da boa discriminação, o COVID-19-RRT Model superestimou a probabilidade de necessidade de TSR, especialmente nos estratos de "baixo risco".(55 Kurtz P, Bastos LS, Dantas LF, Zampieri FG, Soares M, Hamacher S, et al. Evolving changes in mortality of 13,301 critically ill adult patients with COVID-19 over 8 months. Intensive Care Med. 2021;47(5):538-48.) Isso pode ser explicado pelas diferenças na gravidade da doença basal entre os pacientes com COVID-19 e os pacientes da UTI geral: aqueles tinham uma gravidade basal mais baixa, mas a proporção de uso de TSR foi maior do que a dos pacientes da UTI geral. Por outro lado, um paciente de UTI geral com baixa gravidade basal da doença raramente precisará de TSR. Portanto, apesar do bom desempenho geral, esse modelo tem uso clínico limitado numa população de UTI mista. Nosso estudo reforça a necessidade de modelos com melhor generalização de previsão de TSR e lesão renal aguda em populações mistas de UTI. Além disso, esses achados devem ser interpretados com cautela ao traduzir o uso de modelos desenvolvidos numa população específica num grupo geral de pacientes graves.
DECLARAÇÕES
-
FinanciamentoEste estudo recebeu apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código Financeiro 001, da Fundação Carlos Chagas Filho de Amparo à Pesquisa do Estado do Rio de Janeiro (FAPERJ), da Pontifícia Universidade Católica do Rio de Janeiro e recursos departamentais do Instituto D'Or de Pesquisa e Ensino. Todos os autores realizaram a pesquisa independentemente dos órgãos financiadores. Os resultados e as conclusões deste manuscrito refletem apenas a opinião dos autores.
-
Disponibilidade do códigoO código de programação para a análise de dados está disponível no repositório do GitHub (https://github.com/lslbastos/covid_rrt_ml_model).
-
Notas de publicação
Disponibilidade de dados e materiais
Os dados que fundamentam os resultados deste estudo estão disponíveis com o autor correspondente mediante solicitação razoável.
REFERENCES
-
1Huang CY, Grandas FG, Flechet M, Meyfroidt G. Clinical prediction models for acute kidney injury in the intensive care unit: A systematic review. Rev Bras Ter Intensiva. 2020;32(1):123-32.
-
2Ramos FJ, França AM, Salluh JI. Subphenotyping of critical illness: where protocolized and personalized intensive care medicine meet. Rev Bras Ter Intensiva. 2022;34(3):316-8.
-
3França AR, Rocha E, Bastos LS, Bozza FA, Kurtz P, Maccariello E, et al. Development and validation of a machine learning model to predict the use of renal replacement therapy in 14,374 patients with COVID-19. J Crit Care. 2023;80:154480.
-
4Zampieri FG, Soares M, Borges LP, Salluh JI, Ranzani OT. The Epimed Monitor ICU Database®: A cloud-based national registry for adult intensive care unit patients in Brazil. Rev Bras Ter Intensiva. 2017;29(4):418-26.
-
5Kurtz P, Bastos LS, Dantas LF, Zampieri FG, Soares M, Hamacher S, et al. Evolving changes in mortality of 13,301 critically ill adult patients with COVID-19 over 8 months. Intensive Care Med. 2021;47(5):538-48.
Editado por
Datas de Publicação
-
Publicação nesta coleção
22 Abr 2024 -
Data do Fascículo
2024
Histórico
-
Recebido
24 Nov 2023 -
Aceito
02 Dez 2023
O conjunto de dados de validação externa incluiu 8.735 pacientes com internações em unidades de terapia intensiva geral que precisaram de suporte respiratório na admissão (primeira hora), dos quais 770 precisaram de terapia de substituição renal em 2022. (A) A discriminação foi avaliada usando receiver operating characteristic curves e área sob a curva. (B) A faixa de calibração avalia a concordância entre os valores previstos e observados: as áreas sombreadas representam as faixas de confiança (faixa) de 80 e 95%, e a linha vermelha é a linha bissetriz (observado = previsto). Quando as faixas de confiança se desviam significativamente da linha bissetriz, os quantis correspondentes de subestimação ou superestimação são visualizados na parte inferior direita dos gráficos. O valor de p representa um teste estatístico para a hipótese nula de calibração.