A Meta, empresa detentora do Facebook, Instagram e WhatsApp, celebra uma década do Fundamental AI Research (FAIR), o centro de investigação da IA que desenvolve tecnologia de ponta de acesso aberto.

Nos últimos dez anos, a FAIR tem sido um farol para o desenvolvimento de investigações de IA com métodos de acesso aberto e responsável; entre os progressos, o reconhecimento de objetos com o ‘Segment Anything’ e o pioneirismo da tradução automática não supervisionada, incluindo o ‘No Language Left Behind’, que consegue traduzir em 1000 idiomas, tanto de texto para fala, como de fala para texto. Em 2023, a equipa da FAIR lançou o ‘Llama’, o modelo de linguagem aberto e pré-treinado, seguido pelo ‘Llama 2’, gratuito para pesquisa e utilização comercial.

Hoje, a Meta partilha informação sobre os avanços mais recentes nas tecnologias ‘Ego-Exo4D’, ‘Audiobox’ e ‘Seamless Communication’.

Tranferir um vídeo da terceira para a primeira pessoa: ‘Ego-Exo4D’ 

A equipa da FAIR pretende que a IA compreenda o mundo através dos nossos olhos; é nesse sentido que o ‘Ego-Exo’ foi atualizado – o ‘Ego-Exo’ é a tecnologia que permite a transferência de representações visuais de vídeos da terceira pessoa para vídeos de primeira pessoa. O mais recente ‘Ego-Exo4D’ capta simultaneamente em primeira pessoa (ego), bem como vistas externas (exo) de câmaras ao redor da pessoa. Estas duas perspetivas em simultâneo dão aos modelos de IA uma janela para o que as pessoas veem e ouvem.

No futuro, estes avanços em IA permitirão a uma pessoa que usa óculos inteligentes aprender rapidamente novas capacidades com um formador de IA virtual, guiando-as por um vídeo de instruções. Por exemplo, se está a assistir a um vídeo de um especialista a reparar um pneu de bicicleta, pode transferir o vídeo para a primeira pessoa e seguir o passo a passo.

Vozes e Efeitos Sonoros com Audiobox

No início deste ano, a Meta introduziu ‘Voicebox’, um modelo de IA generativa que pode ajudar na edição e estilização de áudio. Agora, o ‘Audiobox’ avança ainda mais a IA generativa para áudio. Com o Audiobox, é possível utilizar comandos de voz ou descrições de texto para descrever sons ou tipos de discurso. A título de exemplo, pode criar uma banda sonora com um comando como “um rio a correr e pássaros a cantar” ou criar uma voz original com “uma jovem fala com um tom alto e ritmo rápido”. O Audiobox facilita a criação de áudio personalizado para todos os projetos.

O tom, ritmo e a expressão do discurso:  ‘Seamless Communication’

Com base nas investigações do ‘SeamlessM4T’, a equipa da FAIR apresenta o ‘Seamless Communication’: um conjunto de modelos de tradução de IA que preservam a expressão entre idiomas e traduzem enquanto o orador ainda está a falar para melhorar a velocidade.

As versões anteriores de serviços de tradução de idiomas habitualmente têm dificuldade em captar o tom de voz, pausas e ênfase, perdendo sinais importantes que nos ajudam a partilhar emoções e intenções. O ‘SeamlessExpressive’ é o primeiro sistema publicamente disponível que desbloqueia a comunicação expressiva entre idiomas, através de um modelo que preserva a emoção e o estilo do orador e aborda o ritmo e a cadência do discurso. O modelo atualmente funciona em inglês, espanhol, alemão, francês, italiano e chinês.

O ‘SeamlessStreaming’ desbloqueia conversas em tempo real com alguém que fala um idioma diferente. Ao contrário de sistemas convencionais que traduzem quando o orador terminou a frase, o ‘SeamlessStreaming’ traduz enquanto o orador ainda está a falar, permitindo que a pessoa que ouve ouça uma tradução mais rápida.

Pesquisa Responsável em IA

A FAIR é uma peça fundamental para o sucesso da Meta, sendo uma das poucas empresas do mundo que cumprem todos os requisitos para desenvolver verdadeiras inovações: algumas das mentes mais brilhantes da indústria, uma cultura de acesso aberto e, mais importante, a liberdade para conduzir pesquisas exploratórias.

A Meta valoriza a pesquisa responsável em IA e o acesso aberto porque partilhar um trabalho cuidadoso através do escrutínio que constrói confiança em cada lançamento. O acesso aberto também permite colaborar com uma comunidade mais ampla, trazendo um progresso mais rápido e um conjunto mais diversificado de colaboradores.