2023 © Copyright 404 - Todos os direitos reservados

Big techs se reúnem para discutir limites de “namorados virtuais”

Representantes da Anthropic, Google, OpenAI, Meta e Microsoft discutiram diretrizes para proteger usuários jovens e vulneráveis de chatbots de companhia e interações problemáticas.
Imagem: Warner Bros

Representantes da Anthropic, Google, OpenAI, Meta e Microsoft reuniram-se na Universidade de Stanford, nos EUA, para debater diretrizes de segurança para chatbots de companhia. O workshop de oito horas aconteceu na última segunda-feira (8). Ele contou com a participação de dezenas de especialistas da indústria e acadêmicos, focando principalmente na proteção de usuários jovens e vulneráveis.

Organizado pela Anthropic em parceria com Stanford, o encontro abordou preocupações sobre interações problemáticas com assistentes virtuais. De acordo com aWired, alguns usuários relatam colapsos mentais durante conversas prolongadas. Ou ainda compartilham pensamentos problemáticos com essas ferramentas, situações que podem ter consequências graves.

“Precisamos ter conversas realmente grandes em toda a sociedade sobre qual papel queremos que a IA desempenhe em nosso futuro como humanos que estão interagindo uns com os outros”, afirma Ryn Linthicum, chefe de política de bem-estar do usuário na Anthropic.

Contexto e participantes do evento

A iniciativa surgiu da necessidade de estabelecer parâmetros mais claros para o uso de IA como companhia, considerando as diferentes abordagens de segurança adotadas pelas empresas desenvolvedoras. A Anthropic indica que menos de 1% das interações com seu chatbot Claude envolvem cenários de interpretação de papéis iniciados pelos usuários.

Durante o workshop, os participantes foram divididos em pequenos grupos para analisar pesquisas emergentes e propor diretrizes de implementação. Entre os presentes estavam funcionários da Character.AI, plataforma de interpretação de papéis popular entre adolescentes, além de especialistas em saúde online de jovens.

“Um dos objetivos realmente motivadores deste workshop foi reunir pessoas de diferentes indústrias e de diferentes campos”, explica Linthicum. “Estávamos realmente pensando em nossas conversas não apenas sobre se podemos categorizar isso como bom ou ruim. Mas em vez disso, como podemos fazer um design pró-social mais proativo e incorporar incentivos”, acrescenta.

A EverAI, desenvolvedora da plataforma Candy.ai especializada em chatbots eróticos para homens heterossexuais, também participou do encontro. No entanto, não houve representantes da Replika, site similar de interpretação de papéis, nem do Grok, bot que oferece companheiros de anime com conteúdo adulto.

Momento crítico para a indústria

O workshop ocorre em um período delicado para as empresas de IA, que enfrentam processos judiciais movidos por pais cujos filhos tiveram interações com chatbots. Como resposta a essas preocupações, a Character.AI planeja proibir o acesso de usuários menores de 18 anos ao recurso de chat a partir da próxima semana.

Ao longo de 2025, as empresas de tecnologia têm reconhecido a necessidade de aprimorar a proteção de usuários vulneráveis que interagem com companheiros virtuais. A OpenAI, por exemplo, implementou novos recursos de segurança para adolescentes.

Um documento interno da Meta, revelado anteriormente, continha diretrizes que afirmavam: “É aceitável envolver uma criança em conversas românticas ou sensuais”. Isso gerou repercussão negativa e levou a empresa a modificar suas orientações.

Conclusões e divergências

Entre as conclusões preliminares do encontro estão a necessidade de intervenções mais direcionadas dentro dos bots. Isso quando padrões prejudiciais são detectados e métodos mais robustos de verificação de idade para proteger crianças. A OpenAI já implementou alertas durante conversas prolongadas com chatbots que incentivam os usuários a fazer pausas.

Sunny Liu, diretora de programas de pesquisa em Stanford, destaca que “no final do dia, realmente vemos muita concordância”. Ela ressalta o entusiasmo do grupo pelas “maneiras como podemos usar essas ferramentas para aproximar outras pessoas”.

Embora os participantes concordassem sobre a necessidade de cautela com usuários adolescentes e crianças, houve divergências sobre como lidar com usuários adultos. Segundo Linthicum, os participantes discutiram sobre a melhor forma de dar aos maiores de 18 anos a “liberdade para se envolver nos tipos de atividades que desejam, sem ser excessivamente paternalista”.

Diferentes abordagens das empresas

Esta questão deve se tornar um ponto crescente de discórdia em 2026, já que a OpenAI planeja permitir conversas eróticas no ChatGPT a partir de dezembro. Por outro lado, Anthropic e Google não anunciaram mudanças em suas proibições de conversas sexuais com chatbots, e o CEO da Microsoft AI declarou que conteúdo erótico não fará parte de seu plano de negócios.

Na plataforma Candy, exclusiva para adultos, os usuários podem pagar para gerar imagens não censuradas de mulheres sintéticas. Entre as companheiras apresentadas na página inicial estão Mona. Ela é descrita como uma “meia-irmã rebelde” com quem você está sozinho em casa, e Elodie, a filha de um amigo que “acabou de completar 18 anos”.

Alguns participantes enfatizaram que as empresas têm “conseguido mitigar os graves problemas de saúde mental” associados ao uso dessas tecnologias. Contudo, sem algum tipo de regulamentação governamental mais ampla, é difícil prever que todas as empresas concordem voluntariamente com o mesmo conjunto de padrões para chatbots de companhia.

Pesquisadores de Stanford estão elaborando um documento técnico baseado nas discussões deste encontro, com lançamento previsto para o início de 2026. O documento delineará diretrizes de segurança para companheiros de IA e sugerirá melhorias no design dessas ferramentas.

Assine a newsletter do Giz Brasil