A “Roblox” implementou um recurso de inteligência artificial que reformula automaticamente mensagens com linguagem proibida. O sistema substitui palavras banidas por termos mais respeitosos durante as conversas na plataforma.
A tecnologia vai além do filtro de texto atual da empresa. O sistema anterior substituía palavras e frases proibidas pelo símbolo “#”. A companhia afirma que essas sequências de “####” interrompiam as conversas e dificultavam o acompanhamento dos diálogos.
Funcionamento do sistema
O novo recurso, no entanto, reescreve o texto filtrado mantendo o sentido da mensagem original ignorando a palavra imprópria ou ofensiva. A plataforma confirmou que notificará todos no chat sobre a reformulação da mensagem a fim de manter a conversa civilizada.
A funcionalidade está disponível em todos os idiomas oferecidos pelas ferramentas de tradução automática da Roblox. O sistema de segurança mais rígido permanece em vigor para comportamentos mais graves.
Resultados da implementação
A empresa aprimorou o sistema de filtragem de texto para detectar mais variações de linguagem banida. O sistema está melhorando na detecção de “leetspeak” e tentativas mais sofisticadas de burlar os filtros. A companhia conseguiu reduzir em 20 vezes a prevalência de falsos negativos ao compartilhar ou solicitar informações pessoais.
“O chat é central para a forma como as pessoas se conectam, coordenam e brincam no Roblox”, disse Rajiv Bhatia, vice-presidente de Produto de Usuário e Descoberta da Roblox, em comunicado à imprensa.
“Reformular em tempo real ajuda a manter o jogo e as conversas no rumo certo enquanto guia a linguagem para o que é apropriado. Esta abordagem reduz os atritos no chat, mantendo ao mesmo tempo os padrões que ajudam a manter nossa comunidade civilizada”.
Contexto de segurança
O anúncio ocorre após o “Roblox” ter introduzido verificação facial obrigatória para acesso aos chats em sua plataforma. A medida foi adotada depois de uma onda de processos judiciais sobre segurança infantil. Os procuradores-gerais do Texas, Kentucky e Louisiana, entre outros, moveram ações contra a empresa.
Os processos foram uma resposta a relatos de que a plataforma estava expondo jovens usuários a riscos perigosos. As denúncias incluíam, por exemplo, casos de aliciamento e conteúdo explícito na plataforma.
