2023 © Copyright 404 - Todos os direitos reservados

VÍDEO: Robô aprende lip sync sozinho assistindo ao YouTube

Sistema permite que máquina reproduza movimentos labiais em diferentes idiomas e músicas.
Imagem: Reprodução

Um robô chamado Emo desenvolveu a capacidade de fazer lip sync, sincronizando movimentos labiais com falas e músicas após analisar vídeos na internet. A tecnologia foi apresentada por pesquisadores da Universidade Columbia Engineering, nos EUA, demonstrando como máquinas podem aprender comportamentos humanos complexos apenas por observação.

O sistema utiliza aprendizado audiovisual autodirigido, método que permitiu ao robô compreender a relação entre sons e movimentos faciais. De acordo com a universidade, o processo de desenvolvimento incluiu uma fase inicial em que Emo explorou seu próprio rosto movendo seus motores enquanto se observava em um espelho. Assista:

Como funciona o aprendizado do robô

A equipe implementou um sistema que conecta som a movimento facial. Durante o treinamento, Emo assistiu a diversas horas de vídeos no YouTube com pessoas falando e cantando. Paralelamente, um modelo de inteligência artificial analisava a relação entre o áudio e os movimentos labiais visíveis.

“Este avanço é importante porque os futuros robôs precisarão se comunicar naturalmente se forem trabalhar ao lado de pessoas”, afirmam os pesquisadores.

O diferencial deste método é que o sistema não foca no significado das palavras, mas nos sons brutos da fala. Isso permitiu que o robô desenvolvesse habilidades de sincronização labial sem necessidade de compreender o conteúdo linguístico.

Tecnologia avançada para expressões faciais realistas

O Emo foi projetado exclusivamente como um rosto robótico realista para estudar comunicação humana. A face do dispositivo tem revestimento de pele de silicone. Além disso, ele possui um sistema de controle composto por 26 motores independentes que movimentam lábios, mandíbula e bochechas.

Esta configuração permite que o robô forme 24 formatos bucais diferentes para consoantes e 16 para vogais, elementos fundamentais para uma fala e canto naturais. O principal objetivo do projeto foi minimizar o “vale da estranheza”, fenômeno onde robôs quase humanos causam desconforto porque seus movimentos faciais não correspondem perfeitamente à voz.

Aplicações multilíngues e musicais

O desenvolvimento ocorreu nos laboratórios da Columbia Engineering, nos Estados Unidos. Os pesquisadores utilizaram um transformador de ação facial para converter os padrões aprendidos em comandos motores em tempo real.

Esta abordagem possibilitou que Emo sincronizasse lábios não apenas em inglês, mas também em idiomas nos quais nunca foi treinado, como francês, árabe e chinês. O método também se mostrou eficaz para o canto, considerado mais desafiador devido às vogais prolongadas e variações de ritmo.

Tendência crescente na robótica

Na CES 2026, feira de tecnologia realizada neste mês, ficou evidente o interesse crescente por robôs para uso doméstico e profissional. As demonstrações incluíram o humanóide Atlas da Boston Dynamics, preparado para ambientes de trabalho, o robô da SwitchBot capaz de cozinhar e lavar roupas, além do assistente doméstico da LG projetado para facilitar tarefas cotidianas.

Embora o Emo ainda seja um projeto de pesquisa, ele demonstra como os robôs poderão aprender habilidades humanas através da observação e audição. Além disso, quando combinados com avanços como pele artificial que confere sensibilidade humana aos robôs, esses desenvolvimentos em sincronização labial realista indicam uma evolução na qual as máquinas começam a se assemelhar mais a companheiros sociais do que a dispositivos mecânicos.

Assine a newsletter do Giz Brasil