Microsoft Revela AttnGAN: IA Que Transforma Descrições de Texto em Imagens Fotorealistas

• O AttnGAN da Microsoft pode gerar imagens de alta fidelidade a partir de texto simples e legendas.
• O sistema emprega arquitetura de dois modelos: um gerador que cria a imagem e um discriminador que avalia seu realismo.
• Adiciona detalhes contextualmente relevantes além do prompt, demonstrando uma camada interna de "imaginação".
• Aplicações futuras potenciais incluem produção de animação totalmente automatizada guiada por roteiros.

Embora esforços anteriores tenham melhorado a síntese de texto-para-imagem, o AttnGAN da Microsoft avança o campo gerando imagens fotorrealistas a partir de prompts textuais concisos, aproveitando uma extensa biblioteca de imagens rotuladas.

Desenvolvido na Microsoft Research, o AttnGAN analisa palavras individuais em um prompt para guiar a construção da imagem. Segundo a equipe, a abordagem entrega qualidade de imagem aproximadamente três vezes superior a modelos anteriores de estado da arte.

O Processo Criativo do Bot

Imagine ser solicitado a desenhar um pássaro azul com asas vermelhas e bico curto. Você começaria com um esboço grosseiro, então preencheria cores e detalhes. O AttnGAN segue a mesma lógica, analisando cada palavra para construir uma imagem detalhada e coerente.

O bot pode renderizar qualquer assunto — de gadgets a vida selvagem — e frequentemente adiciona elementos de fundo contextualmente apropriados que não foram explicitamente mencionados, demonstrando sua capacidade de detalhes "imaginados".

Imagens são sintetizadas pixel a pixel do zero, permitindo que o modelo crie cenas que podem não existir na realidade. Esta tarefa generativa é inerentemente mais complexa que meramente rotular uma foto existente.

Como o AttnGAN Gera Imagens

1. Gerador: Cria imagens baseadas na descrição textual.
2. Discriminador: Avalia a autenticidade da imagem gerada contra a descrição.

Ambos os modelos são treinados conjuntamente, permitindo que o gerador aprenda com o feedback do discriminador e alcance fidelidade progressivamente maior.

O treinamento envolveu milhares de conjuntos de dados foto-legenda pareados, ensinando o AttnGAN a mapear palavras específicas a padrões visuais. Por exemplo, a palavra "elefante" faz o modelo produzir uma imagem correspondente à aparência típica de um elefante.

O sistema quebra frases complexas em palavras individuais, alinhando cada palavra com uma região da imagem. Durante o treinamento, também aprende "senso comum artificial" para preencher detalhes ausentes, garantindo composição realista.

Neste exemplo, o prompt mencionava apenas um pássaro. O AttnGAN inteligentemente colocou o pássaro em um galho, um contexto comum do mundo real aprendido de seus dados de treinamento. Isso demonstra a capacidade do modelo de aplicar conhecimento contextual.

arXiv:1711.10485 – Artigo de pesquisa da Microsoft detalhando o AttnGAN.

Quando desafiado a representar um ônibus de dois andares flutuando em um lago, o modelo produziu uma cena borrada mas reconhecidamente mista, destacando sua dificuldade em reconciliar elementos conflitantes no prompt.

Desempenho e Casos de Uso

O AttnGAN supera benchmarks anteriores, alcançando melhoria de 170,25% na pontuação de inception do dataset COCO e ganho de 14,14% no dataset CUB.

Aplicações potenciais incluem assistentes de esboço para designers de interiores, refinamento de fotos ativado por voz e, com desenvolvimento adicional, produção de animação totalmente automatizada a partir de roteiros.

Outros Geradores de Arte por IA

A Microsoft não está sozinha em fundir arte e IA. O DeepDream do Google criou imagens psicodélicas exibidas em 2016, enquanto sua IA produziu música e síntese de fala como Tacotron 2. Facebook e Nvidia também lançaram modelos generativos para carros, navios, animais e até avatares sintéticos de celebridades.

Leia sobre a IA de voz humana do Google Tacotron 2.