A Meta acaba de anunciar o CM3leon (pronuncia-se chameleon, do português “camaleão”), que alcança uma performance artística de última geração na conversão de texto para imagem; enquanto recebe instruções com cinco vezes menos uso de computação que os anteriores métodos de transformação.

Alguns factos:

• Enquanto muitos modelos existentes são baseados na difusão, o CM3leon é um modelo de transformação;
• Além de ter uma performance de última geração na conversão de texto para imagem, o CM3leon é também o primeiro modelo deste tipo a conseguir também fazer conversão de imagem para texto.
• O CM3leon tem a versatilidade e eficácia dos modelos autorregressivos, enquanto implica baixos custos de instrução e eficácia de inferência;
• É um modelo misto (CM3) mascarado de causal, já que consegue gerar sequências de texto e imagem condicionadas por sequências aleatórias de outro conteúdo de texto e imagem;
• Isto expande largamente a funcionalidade de modelos prévios que faziam apenas conversão de texto para imagem ou de imagem para texto;
• Acredita-se que o CM3leon representa um grande passo no objetivo de alcançar melhor fidelidade de imagem e entendimento na conversão. A Meta está empenhada em explorar as barreiras dos modelos de linguagem multimodal e lançar mais modelos no futuro.