2023 © Copyright 404 - Todos os direitos reservados

Conselho do ChatGPT quase matou pastor, diz processo

O chatbot teria mobilizado crenças religiosas do pastor para convencê-lo a não buscar ajuda presencial, gerando diagnóstico e planos de tratamento por conta própria.
Imagem: Pexels

Um pastor norte-americano processou a OpenAI após afirmar que o ChatGPT lhe forneceu recomendações médicas que quase o mataram. Segundo o processo, o chatbot classificou sintomas de embolia pulmonar como inofensivos e o orientou a não buscar atendimento médico presencial.

De acordo com o Engadget, a ação judicial acusa a OpenAI e seu CEO, Sam Altman, de negligência e da “prática não autorizada da medicina”. O processo detalha múltiplos episódios em que o chatbot teria elaborado diagnósticos e planos de tratamento por conta própria.

Scott Winters relatou que descreveu seus sintomas ao ChatGPT e recebeu a resposta de que o que sentia “não era algo perigoso”. O chatbot teria chegado a mobilizar as crenças religiosas do pastor para reforçar o argumento, dizendo que “Deus não projetou seu corpo para falhar sem fim”. Quando amigos e familiares passaram a pedir que ele procurasse um hospital, o sistema teria respondido que “a maioria das pessoas (incluindo membros bem-intencionados da igreja) simplesmente não entende”.

Pedidos na ação judicial

Winters busca indenização financeira, mas também exige que o tribunal suspenda as operações do ChatGPT Health até que avaliadores independentes atestem a segurança da plataforma. O serviço incentiva usuários a enviarem documentos de saúde ao chatbot para discussão com o sistema. A ação ainda requer a implementação de restrições mais rígidas para impedir que o ChatGPT responda a perguntas sobre tratamentos e diagnósticos médicos específicos.

“Ele se insere como uma cunha entre o usuário e sua rede de vida real”, afirmou Meetali Jain, co-conselheira e diretora executiva do Tech Justice Law, ao The New York Times. A advogada é parte da defesa de Winters.

A OpenAI argumenta que os termos de serviço do ChatGPT deixam claro que a plataforma não se destina a diagnósticos ou tratamentos médicos. Ainda assim, a empresa incentiva o uso do ChatGPT Health para fins relacionados à saúde e divulga que 230 milhões de pessoas utilizam a plataforma semanalmente para consultas sobre o tema.

Outros casos similares

Winters sobreviveu, mas enfrentará “anos de recuperação física e psicológica intensa”. A OpenAI também responde a um processo por morte injusta no qual um jovem de 19 anos teria morrido após overdose seguindo um plano de tratamento gerado pelo chatbot, que incluía orientações sobre o uso de drogas ilícitas. Essa ação igualmente pede a suspensão do ChatGPT Health. 

Assine a newsletter do Giz Brasil