IA Gera Imagens Realistas de Refeições a Partir de Receitas em Texto

Deep Learning Cria Fotos de Pratos Prontos a Partir de Descrições Textuais Longas

Pesquisadores da Universidade de Tel Aviv (Israel) desenvolveram sistema que gera automaticamente imagens a partir de descrições textuais longas. Demonstraram rede que recebe receita como entrada e constrói imagem do prato final do zero.

GANs Condicionais (cGANs) e Embeddings Cross-Modal

GANs consistem em dois modelos (gerador e discriminador) treinados para competir. O gerador sintetiza imagens similares à distribuição original; o discriminador diferencia originais de sintéticas.

Neste trabalho, usaram GANs condicionais onde ambos modelos consideram condição específica. Propuseram duas técnicas de embedding:

1. Embedding inicial de ingredientes e instruções de cozimento.
2. Embedding neural combinado da receita completa.
3. Integração de loss de regularização semântica com objetivo de classificação de alto nível.

Rede condicional treinada em 52.000 receitas textuais e imagens correspondentes, usando GPUs NVIDIA TITAN X com biblioteca cuDNN. Após treinamento, sistema constrói imagens do que a receita parece a partir de descrição longa (sem informação visual ou título).

Avaliação Humana: Regularização Não-Semântica Vence

30 pessoas julgaram 10 pares de imagens geradas por cada técnica (escala 1-5). Resultado: regularização não-semântica superou a semântica, produzindo imagens mais vívidas com detalhes fotorrealistas. Alguns acharam difícil distinguir reais de sintéticas.

Ambas técnicas tiveram sucesso com comidas "tipo mingau" (saladas, sopas, arroz), mas dificuldade com formas distintas (frango, hambúrguer, bebidas).

Referência: arXiv:1901.02404 | Tel-Aviv University