Uma equipe de médicos e cientistas da computação da Faculdade de Medicina de Harvard e do Centro Médico Beth Israel Deaconess, nos EUA, avaliou o desempenho de modelos de linguagem de grande escala em contextos médicos. A revista Science publicou o estudo e incluiu casos reais de pronto-socorro.
Os pesquisadores realizaram diversos experimentos para medir como os modelos da OpenAI se comparavam a médicos humanos. A equipe analisou 76 pacientes que deram entrada no pronto-socorro do Beth Israel. Dois médicos especialistas em medicina interna ofereceram diagnósticos.
Os modelos o1 e 4o da OpenAI também geraram diagnósticos para os mesmos casos. Dois outros médicos especialistas avaliaram esses diagnósticos sem saber quais vinham de humanos e quais vinham de IA.
De acordo com o Tech Crunch, o estudo foi desenvolvido para examinar a capacidade dos modelos de linguagem em realizar diagnósticos médicos. Além disso, os pesquisadores buscavam determinar se essas tecnologias poderiam ter aplicação em ambientes clínicos reais.
Resultados da comparação entre IA e médicos
O modelo o1 conseguiu oferecer o diagnóstico exato ou muito próximo em 67% dos casos de triagem. Um dos médicos alcançou o diagnóstico exato ou próximo em 55% das vezes. O outro médico atingiu a marca em 50% das ocasiões.
O estudo indicou que em cada ponto de diagnóstico, o modelo o1 teve desempenho nominalmente melhor ou equivalente aos dois médicos especialistas e ao modelo 4o. As diferenças foram especialmente pronunciadas no primeiro ponto de diagnóstico (triagem inicial do pronto-socorro). Nele, há menos informações disponíveis sobre o paciente e maior urgência para tomar a decisão correta.
Os pesquisadores destacaram no comunicado de imprensa da Faculdade de Medicina de Harvard que não fizeram nenhum pré-processamento dos dados. Os modelos de IA receberam as mesmas informações disponíveis nos registros médicos eletrônicos no momento de cada diagnóstico.
“Testamos o modelo de IA contra praticamente todos os parâmetros de referência, e ele superou tanto os modelos anteriores quanto nossas linhas de base de médicos”, disse Arjun Manrai, um dos autores principais do estudo, no comunicado de imprensa.
Limitações e questões em aberto
O estudo não determinou se a IA está pronta para tomar decisões de vida ou morte em ambientes de pronto-socorro reais. Isso porque os pesquisadores observaram que estudaram apenas o desempenho dos modelos quando fornecidas informações baseadas em texto. Além disso, eles notaram que estudos existentes sugerem que os modelos fundamentais atuais são mais limitados no raciocínio sobre entradas que não sejam texto.
Adam Rodman, médico do Beth Israel e também autor principal do estudo, alertou ao jornal The Guardian que não há estrutura formal no momento para responsabilização em torno de diagnósticos de IA. Rodman afirmou que os pacientes ainda querem que humanos os guiem através de decisões de vida ou morte e através de decisões de tratamento desafiadoras.
Kristen Panthagani, médica de emergência, disse em uma publicação sobre o estudo que se trata de um estudo de IA interessante que levou a algumas manchetes muito exageradas. Panthagani destacou especialmente que o estudo comparou diagnósticos de IA com os de médicos de medicina interna, não de médicos de pronto-socorro.
“Se vamos comparar ferramentas de IA com a capacidade clínica dos médicos, devemos começar comparando com médicos que realmente praticam essa especialidade”, disse Panthagani. “Não me surpreenderia se um modelo de linguagem de grande escala pudesse superar um dermatologista em um exame de neurocirurgia, mas isso não é uma informação particularmente útil de se saber.”
Por outro lado, Panthagani também argumentou que como médica de pronto-socorro vendo um paciente pela primeira vez, seu objetivo principal não é adivinhar o diagnóstico final. Seu objetivo principal é determinar se o paciente tem uma condição que pode matá-lo.
Próximos passos
Os resultados demonstram uma necessidade urgente de ensaios prospectivos para avaliar essas tecnologias em ambientes reais de atendimento ao paciente, de acordo com o estudo.
