Microsoft Apresenta Modelo de Linguagem Recorde de 17 Bilhões de Parâmetros

A Microsoft apresenta o Turing Natural Language Generation, o maior modelo do mundo com 17 bilhões de parâmetros. Ele gera resumos abstrativos de documentos de texto, respostas diretas a perguntas e palavras para completar frases. O modelo responde com a mesma precisão, direta e fluentemente que humanos em diferentes situações.

Treinando o T-NLG

Modelos de linguagem de aprendizado profundo em larga escala (como GPT-2 e BERT), com bilhões de parâmetros treinados em todo o texto disponível na internet, melhoraram várias tarefas de processamento de linguagem natural (NLP), como compreensão de documentos, agentes conversacionais e resposta a perguntas.

Observou-se que modelos maiores com dados de pré-treinamento mais diversos e abrangentes performam melhor, mesmo com menos amostras de treinamento. Assim, é mais eficiente treinar um modelo centralizado massivo e compartilhar seus recursos entre diferentes tarefas em vez de treinar um novo modelo para cada tarefa individualmente.

Seguindo esta tendência, pesquisadores da Microsoft introduziram o Turing Natural Language Generation (T-NLG), o maior modelo do mundo com 17 bilhões de parâmetros. Ele supera modelos de ponta existentes em diferentes benchmarks de modelagem de linguagem.

O T-NLG pode gerar palavras para completar frases inacabadas, resumos de documentos de entrada e respostas diretas a perguntas. Diferente de outros sistemas NLP que dependem de extrair conteúdo de documentos para criar um resumo ou responder perguntas, o novo modelo generativo responde com a mesma precisão, direta e fluentemente que humanos em diferentes situações.

Em vez de copiar trecho, T-NLG responde diretamente à pergunta com uma frase completa.

Treinando o T-NLG

Como uma GPU (mesmo com 32 GB de memória) não pode processar bilhões de parâmetros, você precisa paralelizar o próprio modelo ou dividi-lo em fatias para treiná-lo através de múltiplas GPUs.

Neste estudo, os pesquisadores aproveitaram a configuração de hardware NVIDIA DGX-2 (para tornar a comunicação entre GPUs mais rápida) e fatiamento de tensor (para dividir o modelo através de 4 GPUs NVIDIA V100). Usando a biblioteca DeepSpeed e otimizador Zero, conseguiram treinar o T-NLG muito eficientemente com menos GPUs.

Desempenho em Tarefas Padrão

Eles então compararam o desempenho do T-NLG pré-treinado contra outros modelos de linguagem transformer poderosos em duas tarefas padrão: precisão de previsão da próxima palavra LAMBADA (maior é melhor) e perplexidade Wikitext-103 (menor é melhor). Em ambos os casos, o T-NLG performou melhor.

Referência: Microsoft | GitHub

Desempenho em Resposta a Perguntas

Para testar qualidades como correção gramatical e factual, os pesquisaram buscaram ajuda de anotadores humanos. Compararam o novo modelo com o modelo LSTM (similar ao CopyNet).

Desempenho em Resumo Ativo

O T-NLG pode escrever resumos abstrativos semelhantes a humanos para uma variedade de documentos de texto (incluindo documentos Word, posts de blog, e-mails, apresentações PowerPoint e até planilhas Excel), mas quão bom é comparado a outros modelos NLP existentes.

Para tornar o novo modelo mais versátil para resumir todo tipo de texto, pesquisadores o treinaram em datasets de resumo publicamente disponíveis. Eles então o compararam com outro modelo de linguagem grande baseado em transformer chamado PEGASUS e sua versão anterior. Desta vez, reportaram o score ROUGE — um conjunto de métricas usado para avaliar resumo automático em processamento de linguagem natural.

Aplicações

A Microsoft alcançou um avanço em inteligência artificial conversacional. Nos próximos anos, integrarão o T-NLG na suíte Microsoft Office, que não apenas economizará tempo dos usuários resumindo e-mails e documentos, mas também oferecerá assistência de escrita e responderá perguntas que leitores possam fazer sobre o conteúdo.

Além disso, as descobertas abrem caminho para assistentes digitais e chatbots mais precisos e fluentes, ajudando empresas com vendas e gestão de relacionamento com clientes.