Microsoft Revela Avanço em IA Conversacional com Rede Neural Multi-Tarefa Avançada

Representações de linguagem robustas e universais são importantes para obter bons resultados em várias tarefas de Processamento de Linguagem Natural (PLN). Aprendizado em ensemble é uma das abordagens mais eficientes para melhorar a generalização do modelo. Até agora, desenvolvedores o usaram para obter resultados de ponta em uma variedade de tarefas de compreensão de linguagem natural (NLU), variando de compreensão de leitura por máquina a resposta a perguntas.

No entanto, tais modelos de ensemble contêm centenas de modelos de redes neurais profundas (DNN) e são bastante caros para implementar. Modelos pré-treinados, como GPT e BERT, também são muito caros para implantar. O GPT, por exemplo, consiste em 48 camadas de transformer com 1,5 bilhão de parâmetros, enquanto o BERT tem 24 camadas de transformer com 344 milhões de parâmetros.

Em 2019, a Microsoft lançou seu próprio algoritmo de processamento de linguagem natural (PLN), chamado Multi-Task DNN. Atualizaram este algoritmo para obter resultados impressionantes.

Estendendo a Destilação de Conhecimento

A equipe de pesquisa comprimiu vários modelos de ensemble em um único Multi-Task DNN, usando destilação de conhecimento. Usaram o modelo de ensemble [de forma offline] para gerar alvos suaves para cada tarefa no conjunto de dados de treinamento. Comparados a alvos duros, eles oferecem dados mais úteis por amostra de treinamento.

Vamos tomar uma frase como exemplo: "Tive uma boa conversa com João ontem à noite", o sentimento nesta frase é improvável que seja negativo. No entanto, a frase "Tivemos uma conversa intrigante ontem à noite" pode ser negativa ou positiva, dependendo do contexto.

Os pesquisadores usaram tanto os alvos corretos quanto os alvos suaves em várias tarefas para treinar um único MT-DNN. Utilizaram a estrutura de deep learning PyTorch acelerada por cuDNN para treinar e testar o novo modelo em GPUs NVIDIA Tesla V100.

Resultados

Compararam o MT-DNN destilado com MT-DNN normal e BERT. Os resultados mostram que o MT-DNN destilado supera ambos os modelos por uma margem significativa, em termos de pontuação geral no benchmark General Language Understanding Evaluation (GLUE), usado para testar desempenho do sistema em uma ampla gama de fenômenos linguísticos.

O benchmark compreende 9 tarefas de NLU, incluindo similaridade de texto, entailment textual, análise de sentimento e resposta a perguntas. Os dados contêm várias centenas de pares de frases extraídos de diferentes fontes, como textos acadêmicos e enciclopédicos, notícias e mídia social.

Todos os experimentos realizados nesta pesquisa mostram claramente que a representação de linguagem aprendida através do MT-DNN destilado é mais universal e robusta que MT-DNN normal e BERT.

Nos próximos anos, os pesquisadores tentarão encontrar melhores maneiras de combinar alvos corretos duros e alvos suaves para aprendizado multi-tarefa. E, em vez de comprimir um modelo complicado em um mais simples, explorarão melhores maneiras de usar destilação de conhecimento para melhorar o desempenho do modelo independentemente de sua complexidade.