O que é IA multimodal?

IA multimodal é um modelo que recebe mais de um tipo de entrada — texto, imagem, áudio, vídeo — na mesma conversa e responde considerando todas juntas. Por dentro, cada tipo vira uma sequência de vetores e todas são concatenadas numa fila só. O modelo processa essa fila do mesmo jeito que processaria texto, porque para ele não há diferença.

O recorte mais comum é visão e linguagem, que tem nome próprio: VLM. O termo guarda-chuva é este aqui, e ele inclui áudio, vídeo e geração. A distinção entre modalidade de entrada e capacidade do modelo está em o que é um modelo multimodal.

Do lado de quem escreve o prompt, quase nada muda: continua sendo engenharia de prompts, com uma variável a mais. A variável nova é que agora você pode marcar a imagem, recortá-la e apontar para dentro dela, o que é um assunto próprio em visual prompting.

Como uma imagem vira token

O passo que faz tudo funcionar foi publicado em outubro de 2020 e cabe no título do paper: uma imagem vale 16 por 16 palavras. Corte a imagem em quadrados de 16 por 16 pixels, achate cada quadrado num vetor, e você tem uma sequência. Um transformer comum, sem nada de visão embutido, processa essa sequência e classifica imagens de forma competitiva com as redes convolucionais que dominavam a área¹.

Faça a conta e o custo aparece sozinho. Uma imagem de 1.024 por 1.024 pixels dá 64 por 64 quadrados, ou 4.096 pedaços. Cada pedaço ocupa uma posição na sequência, como um token de texto ocuparia. Uma captura de tela é um documento, não uma palavra, e a fatura reflete isso.

O que falta é ligar essa sequência de imagem ao modelo de linguagem. Duas ideias resolveram isso, em ordem.

A primeira foi treinar visão e texto para caírem no mesmo espaço. Em 2021, um trabalho pegou 400 milhões de pares de imagem e legenda coletados da web e treinou com uma tarefa boba de descrever: adivinhar qual legenda pertence a qual imagem. O resultado foi um modelo que compara imagem com texto diretamente, e que classificou o ImageNet em modo zero-shot com a exatidão de um ResNet-50 supervisionado, sem ver nenhum dos 1,28 milhão de exemplos de treino². Esse modelo, o CLIP, virou o codificador de visão padrão da década.

A segunda foi ligar dois modelos prontos com uma peça no meio. Em 2022, o Flamingo manteve congelados um modelo de visão e um de linguagem e treinou só a ponte entre eles, o que permitiu processar sequências de imagem e texto intercalados na ordem que aparecessem. Com poucos exemplos no prompt, ele superou modelos ajustados com milhares de vezes mais dados específicos da tarefa³.

Em 2023, essa receita ficou barata. O trabalho que apresentou o LLaVA usou um modelo de linguagem para gerar os dados de instrução visual, treinou uma projeção simples entre um codificador de visão e um LLM, e conseguiu comportamento de assistente multimodal com um orçamento acadêmico⁴. É a arquitetura que a maior parte dos modelos abertos ainda segue: codificador de visão, uma camada de projeção, e o LLM que você já tinha.

O que se ganha ao juntar

O ganho não é “o modelo agora enxerga”. É que a pergunta pode atravessar as duas entradas.

Fotografe o medidor de luz e mande junto a tabela de tarifas da sua distribuidora em texto. A foto sozinha rende “vejo 8.431 kWh”. O texto sozinho rende “depende da leitura”. Juntos, rendem o valor da conta. A informação necessária estava distribuída entre duas modalidades e a resposta exigia as duas ao mesmo tempo.

Esse é o teste que separa uso legítimo de multimodal de uso decorativo. Se a pergunta pode ser respondida transcrevendo a imagem primeiro e trabalhando só com o texto, você não precisava de um modelo multimodal, precisava de um OCR. Se ela exige ler a imagem à luz do texto, ou o contrário, aí sim.

Os casos que se pagam na prática costumam ter a mesma forma. Nota fiscal fotografada contra a regra de aprovação escrita. Captura de tela de erro contra a documentação. Gráfico de relatório contra a meta do trimestre. Planta baixa contra a norma. Em todos, digitar o conteúdo da imagem seria o trabalho inteiro.

O mapa do assunto

Cinco perguntas cobrem o assunto, e cada uma é um grupo de artigos deste guia.

Ver é o que o modelo faz com uma imagem que chega. Inclui o VLM em si, leitura de texto em imagem, interpretação de gráfico, documento com várias páginas e vídeo.

Pedir é o que você faz com a imagem antes de mandar. Marcar com um círculo, recortar a região que interessa, numerar elementos, mandar duas versões lado a lado. É onde mora a maior parte do ganho prático, e quase nada disso é óbvio.

Ouvir é a modalidade que menos aparece em texto introdutório e mais aparece em produto. Transcrição com contexto, identificação de quem fala, tom, áudio longo. Prompts para áudio têm regras próprias.

Gerar é o caminho inverso: texto entra, imagem sai. Geração, edição por instrução, consistência entre variações.

Errar merece um lugar no mapa em vez de uma nota de rodapé, porque as falhas de visão não são aleatórias. Elas se concentram em contagem, comparação, posição relativa e texto pequeno, e conhecer o padrão vale mais que conhecer o benchmark.

Onde falha

A distância entre o que esses modelos parecem fazer e o que eles fazem é maior na visão do que em qualquer outra parte, e a evidência disso é boa.

Nas provas de faculdade, o teto está longe. O MMMU reuniu 11,5 mil questões multimodais de exames e livros universitários, em seis áreas, 30 assuntos e 30 tipos de imagem, de gráfico e mapa a partitura e estrutura química. Na avaliação publicada em novembro de 2023, os melhores modelos da época ficaram em 56% e 59% de exatidão⁵. São questões que um estudante de graduação responde.

Nas tarefas visuais básicas, o resultado é pior que o das provas. Um trabalho de julho de 2024 montou o BlindTest, sete tarefas triviais: dois círculos se sobrepõem ou não, quantas vezes duas linhas se cruzam, qual letra está circulada numa palavra, quantos círculos tem um logo tipo olímpico. Quatro modelos de ponta acertaram 58,07% em média; o melhor deles chegou a 77,84%, contra os 100% esperados de uma pessoa⁶. Os modelos testados eram os de meados de 2024 e os números certamente mudaram; o padrão do erro é o que interessa.

O mesmo estudo isolou onde a coisa quebra, e essa é a parte útil. Quando as formas eram separadas por bastante espaço, a exatidão ia perto de 100%. O problema aparecia quando os elementos se sobrepunham ou ficavam próximos. E sondagens lineares indicaram que o codificador de visão continha informação suficiente para resolver as tarefas: quem falhava era a tradução dessa informação em palavras⁶.

A cegueira tem uma causa conhecida. Um trabalho de janeiro de 2024 encontrou pares de imagens que o CLIP considera parecidas apesar de serem claramente diferentes, e montou um benchmark com elas. Modelos de ponta, incluindo os comerciais, erravam perguntas diretas sobre nove padrões visuais básicos, e justificavam o erro com explicações inventadas. A correlação entre o que confunde o CLIP e o que confunde o modelo multimodal era clara⁷. Se o codificador não distingue, o modelo de linguagem em cima dele não tem como distinguir.

Três consequências práticas saem daí. Não peça contagem exata em imagem densa. Não confie em julgamento de posição relativa entre elementos próximos. E desconfie especialmente da explicação: quando erra a percepção, o modelo escreve uma justificativa coerente para o que ele acha que viu.

Quanto custa

Números de ordem de grandeza, com as premissas à vista, porque preço muda e mecanismo não.

A conta de tokens de uma imagem sai da resolução. Pela aritmética do corte em blocos, 1.024 por 1.024 pixels dão 4.096 pedaços; na prática os provedores agrupam e comprimem, e uma imagem dessas costuma ser cobrada como algumas centenas a alguns milhares de tokens de entrada. A ordem de grandeza é essa: uma imagem custa como uma página de texto, não como uma frase.

O corolário é a alavanca de custo mais direta que existe aqui. Reduza a imagem antes de enviar, até o limite em que o que interessa ainda está legível. Uma captura de tela de 3.840 por 2.160 reduzida para 1.280 de largura costuma manter tudo que importa e corta a conta em um múltiplo, não em uma fração.

O segundo corolário é recortar em vez de reduzir quando o alvo é pequeno. Se a pergunta é sobre um campo de um formulário, mande o campo. Isso resolve custo e resolve exatidão ao mesmo tempo, porque tira do modelo justamente o cenário de elementos próximos em que ele erra mais.

Vídeo é o caso que surpreende a fatura. Um vídeo é uma sequência de quadros, e mesmo amostrando um quadro por segundo, um clipe de três minutos são 180 imagens. A pergunta a fazer antes de mandar vídeo é sempre a mesma: quantos quadros realmente respondem isso?

Por onde começar

1. Verifique se a pergunta atravessa as modalidades. Se transcrever a imagem resolve, use OCR e trabalhe com texto. É mais barato, mais rápido e mais fácil de depurar.
2. Recorte antes de mandar. A região que importa, no tamanho em que ela é legível. Recortar melhora exatidão e custo na mesma ação.
3. Peça o que está visível antes de pedir a conclusão. “Liste os campos que você consegue ler” antes de “aprove ou reprove”. Você passa a ver de onde veio o erro.
4. Não peça contagem exata nem posição relativa em imagem densa. É o modo de falha mais documentado. Se precisar contar, recorte e conte por partes.
5. Trate a explicação com desconfiança. Percepção errada vem acompanhada de justificativa convincente. A explicação não é evidência de que ele viu.
6. Monte um conjunto de teste com imagens suas. Vinte imagens reais, com a resposta certa anotada. Benchmark público diz pouco sobre nota fiscal amassada fotografada com a sua iluminação.
7. Meça a resolução como parâmetro. Rode o mesmo conjunto em duas ou três resoluções. Costuma existir um ponto em que a exatidão para de subir e o custo continua.

O passo 7 é o que quase ninguém faz e o que mais economiza. A resolução que o seu código está mandando hoje foi escolhida pelo celular do usuário, não por você.

Footnotes

1. Dosovitskiy et al. (2020) mostraram que um transformer puro, aplicado diretamente a sequências de blocos de imagem, alcança resultados competitivos com redes convolucionais em classificação, com menos recursos de treino. ↩

2. Radford et al. (2021) treinaram em 400 milhões de pares de imagem e legenda a tarefa de prever qual legenda pertence a qual imagem, e obtiveram transferência zero-shot equivalente à exatidão do ResNet-50 no ImageNet sem usar nenhum dos 1,28 milhão de exemplos rotulados. ↩

3. Alayrac et al. (2022) ligaram um modelo de visão e um de linguagem já treinados, com suporte a imagem e texto intercalados, e superaram com poucos exemplos no prompt modelos ajustados com milhares de vezes mais dados da tarefa. ↩

4. Liu et al. (2023) geraram dados de instrução visual com um modelo de linguagem e treinaram a conexão entre um codificador de visão e um LLM, estabelecendo a receita de codificador mais projeção que os modelos abertos seguem. ↩

5. Yue et al. (2023) montaram 11,5 mil questões multimodais de nível universitário em seis áreas e 30 tipos de imagem; os melhores modelos avaliados no paper ficaram em 56% e 59% de exatidão. ↩

6. Rahmanzadehgervi et al. (2024) mediram 58,07% de exatidão média em quatro modelos de ponta em sete tarefas visuais triviais, com 77,84% no melhor deles; a exatidão subia para perto de 100% quando as formas eram separadas, e sondagens lineares indicaram que a informação estava no codificador de visão e se perdia na tradução para texto. ↩ ↩²

7. Tong et al. (2024) identificaram pares de imagens que o CLIP considera parecidas apesar de diferenças óbvias, mostraram que modelos multimodais de ponta erram perguntas diretas sobre nove padrões visuais básicos e produzem explicações inventadas para o erro. ↩