IA prevê participação em filmes analisando trailers com filtragem colaborativa

• Um novo modelo de aprendizado de máquina prevê qual público provavelmente assistirá a um filme com base no trailer. 
• Ele usa o método de filtragem colaborativa para extrair recursos do trailer, como rostos, objetos, paisagens etc. 
• Esses recursos são então combinados com dados demográficos e de frequência para prever a participação do público.

Os trailers são a parte mais importante da campanha de marketing de novos filmes. Eles apresentam personagens, comunicam o enredo, revelam algumas dicas sobre o enredo e aumentam a conscientização entre os amantes do cinema.

Para os cineastas, é uma oportunidade de aprender a perspectiva do público:o que eles gostaram e o que não os impressionou. Normalmente, esses detalhes os ajudam a planejar a próxima estratégia da campanha de marketing.

Para ajudar a escolher as melhores prévias do trailer, os engenheiros dos estúdios cinematográficos da 20th Century Fox criaram um método de aprendizado de máquina chamado Merlin Video, que prevê qual público provavelmente assistirá a um filme, com base no trailer.

Como funciona?

Merlin Video gera representações densas de um trailer e as utiliza para analisar e prever o comportamento de um público. De acordo com a equipe de pesquisa, esta é a primeira vez que um estúdio de cinema usa uma representação de baixo nível de trailers para medir os interesses do público.

Ele é baseado no modelo de Filtragem Colaborativa de última geração, que extrai recursos como iluminação, objetos, cores e rostos e os combina com dados demográficos e de público para prever com precisão o público de filmes existentes, bem como de filmes ainda a serem lançados.

As redes neurais convolucionais extraem recursos de baixo nível quadro a quadro. As redes pré-treinadas podem ser usadas para detectar e analisar as características dos quadros relevantes de um trailer. Ao alimentar representações apropriadas desses recursos em redes neurais treinadas em registros históricos, é possível descobrir ligações significativas entre os recursos do trailer do filme e as preferências futuras do público.

Visão geral do vídeo Merlin | Cortesia de pesquisadores 

Referência: arXiv:1807.04465

Mais especificamente, o Merlin Video contém uma camada de regressão logística que mescla o modelo de Filtragem Colaborativa baseado em distância com a atualidade e a frequência do usuário para gerar a probabilidade de participação do público. O sistema é treinado de ponta a ponta e a perda de regressão logística é propagada de volta para todos os módulos treináveis.

Em resumo, os engenheiros fizeram três contribuições principais neste estudo:

1. Um modelo de recomendação para lançamentos de filmes desenvolvido especificamente para lidar com recomendações de início a frio e teatrais usando o conteúdo do trailer.
2. Eles mediram o desempenho de diversas versões do Merlin Video e demonstraram como ele pode ser utilizado em procedimentos de tomada de decisão em cenários do mundo real.
3. Eles discutiram maneiras viáveis de combinar entradas de vídeo e texto para aumentar a precisão da previsão.

A rede neural é treinada em centenas de trailers lançados nos últimos anos e em milhões de registros de público. Eles usaram a GPU NVIDIA Tesla P100 no Google Cloud, com TensorFlow alimentado por rede neural profunda CUDA, para treinar o modelo.

Leia:Nvidia AI pode converter vídeos de 30fps em 240fps

Em trabalhos futuros, os engenheiros se concentrarão na construção de um modelo que utilize recursos de vídeo e texto para prever o sucesso de um filme.