Meta ImageBind: IA generativa que pode vincular 6 tipos de dados diferentes

IA generativa tem sido um grande tema nos últimos meses. Empresa meta é uma das que prima pelo desenvolvimento de novos sistemas e um projeto de código aberto ImageBind é um que certamente merece atenção. Enquanto a maioria dos sistemas combina um ou dois tipos de dados (texto cria texto – ChatGPT, texto cria uma imagem – DALL-E,…), ImageBind pode conectar até 6 domínios diferentes. Dessa forma, deve estar mais próximo de como uma pessoa trabalha. Ele pode, por exemplo, adivinhar a partir de uma imagem de um carro que tipo de som ele fará, imaginar se está frio ou quente em determinado ambiente com base na imagem, imaginar uma cena visual com base na descrição e assim por diante.

No caso do ImageBind, temos uma combinação de dados fornecidos não apenas na forma de texto, imagem/vídeo e áudio, mas também dados de sensores de profundidade (várias formas de câmeras 3D), sensores de temperatura (radiação infravermelha) e até aceleração e dados de movimento (IMU). Isso permite prever como os objetos soarão, parecerão em 2D e 3D, quão quentes ou frios eles são e como eles se movem. Este sistema multimodal é de código aberto e convida outros desenvolvedores a desenvolver novos sistemas capazes de criar “mundos virtuais imersivos”.

Graças ao sistema, deve ser possível reconhecer as propriedades de objetos em outros domínios, mas nem sempre isso é fácil. Enquanto, por exemplo, os dados de profundidade e temperatura são frequentemente correlacionados de maneiras diferentes, os tipos não visuais são piores (por exemplo, áudio e movimento têm uma correlação um pouco mais fraca).