Descobrindo Novos Materiais Termoelétricos com Incorporação de Palavras

Converse com qualquer pessoa hoje e ela lhe dirá que a Inteligência Artificial é a próxima grande coisa — a batata quente que todos querem um pedaço, mas ninguém consegue mastigar.

Uma boa maioria deles também lhe dirá que muito do que circula como IA é realmente apenas hype — uma glorificação do bom e velho aprendizado de máquina e matemática vestidos de PowerPoint. E, na maior parte, eles estariam certos.

No entanto, uma área onde a aplicação de ferramentas de IA como Aprendizado Profundo têm sido nada menos que revolucionária é no Processamento de Linguagem Natural.

Um exemplo fácil são os chatbots que atendem sites. Eles são executados por arquiteturas de aprendizado profundo relativamente complicadas chamadas redes neurais de Memória de Curto e Longo Prazo (LSTM). Esses algoritmos podem 'compreender' o que lhes dizemos e juntar frases coerentes e legíveis em resposta. Claro, este bot não é Sócrates, mas não cospe um emaranhado aleatório de palavras. Há a sugestão inegável de alguma inteligência de baixo nível.

Incorporação de palavras

A era moderna do aprendizado profundo no processamento de linguagem começou com a publicação em 2013 do artigo word2vec de Tomas Mikolov. Seu triunfo foi desenvolver um método computacionalmente viável para gerar incorporações de palavras ou vetores de palavras usando redes neurais.

Considere as palavras homem, mulher, rei e rainha. Se você fosse solicitado a agrupar estas palavras, você tem várias escolhas de senso comum. Eu tendo a ver [homem, mulher] e [rei, rainha]. Você poderia estar vendo [homem, rei] e [mulher, rainha].

Incorporação de palavras captura relações semânticas entre palavras em um texto. De https://samyzaf.com/ML/nlp/nlp.html

Eu também sei que a palavra rei e homem estão relacionadas exatamente da mesma forma que 'mulher' e 'rainha'.

homem:rei = mulher:rainha

Mesmo se eu nunca tivesse ouvido estas palavras antes, posso aprender estas relações observando as frases que encontro. 'Este homem é um rei' , 'A rainha era uma mulher divina', 'Ela reinou como a rainha da tela de prata', 'Seu reino virá'. Estas frases sugerem através da proximidade das palavras sozinhas que o rei é principalmente um homem e que uma rainha é muito provavelmente uma mulher.

Incorporações de palavras fazem a mesma coisa, mas para milhões de palavras de milhares de documentos. A chave aqui é que as palavras são aprendidas do contexto. O que permite este jogo de analogia matemática são os poderes da computação moderna e a mágica do aprendizado profundo.

Incorporação de palavras de aprendizado profundo

Digamos que queremos encontrar as incorporações para todas as palavras em Harry Potter.

Primeiro criamos uma espécie de câmara-biblioteca-cofre matemática. Um monstro multidimensional colossal grande o suficiente para conter todas as palavras que precisamos. Este é o espaço vetorial.

O objetivo é percorrer Harry Potter palavra por palavra e colocar cada palavra em um cofre na câmara. Palavras semelhantes como Vestido e Manto vão no mesmo cofre. Quadribol e Pomo estão em cofres adjacentes. Carro e Centauro estão tão longe quanto Banana e Voldemort.

A incorporação de palavra de uma palavra é o endereço do cofre em que ela será encontrada. Matematicamente, isso a torna um vetor no espaço vetorial.

Você pode ver por que nenhum humano jamais quereriam este trabalho. Há muitas palavras e muita movimentação envolvida.

Uma rede neural, no entanto, faz isso excepcionalmente bem. Ela faz isso por, bem, mágica.

Uma rede neural profunda é uma espécie de máquina massiva com milhões de engrenagens e alavancas. No começo é tudo caos e nada se encaixa com nada mesmo havendo embaralhamento por toda parte. Então lentamente algumas engrenagens começam a travar. As alavancas caem no lugar — e a ordem emerge do caos. A máquina começa a se mover. Frankenstein está vivo!

A linguagem aqui é deliberadamente vaga. Quero levá-lo às aplicações de incorporação de palavras, em vez de como é derivado. Dito isso, em um nível fundamental, não sabemos bem como redes neurais fazem o que fazem. Assim, em nossos experimentos, temos que brincar com o número de camadas, funções de ativação, número de neurônios em cada camada etc antes de chegarmos à nossa tarefa. Mas isso é um tópico para outro dia.

Termoelétricos

Em um artigo publicado em 2019, uma equipe de pesquisadores do Lawrence Berkeley Lab gerou as incorporações de palavras de todos os resumos em cerca de 3,3 milhões de artigos publicados em 1000 periódicos. Esta lista é obviamente enorme e cobre quase todos os tópicos publicados em ciência de materiais nas últimas duas décadas.

Quando se trata de um texto científico, fórmulas químicas e símbolos também são 'palavras'. Portanto, existe um vetor de palavra para LiCoO2 — que é um cátodo de bateria comum. Você pode então fazer perguntas como: quais são os vetores de palavras mais próximos de LiCoO2?

Sabemos que LiCoO2 é um vetor no espaço vetorial. Então tudo o que precisamos fazer é encontrar vetores que estejam próximos.

A resposta sai como LiMn2O4, LiNi0.5Mn1.5O4, LiNi0.8Co0.2O2, LiNi0.8Co0.15Al0.05O2 e LiNiO2—todos os quais são também materiais de cátodo de íon-lítio.

O caminho de relação de compostos químicos selecionados para a palavra 'termoelétrico'. Li2CuSb não é diretamente relacionado a 'termoelétrico', mas está perto de outras palavras que são indicadores desta propriedade como 'banda indireta' e 'optoeletrônica'. De [2]

Veja o que fizemos aqui?

Estávamos realmente tentando explorar outros materiais que eram semelhantes ao nosso cátodo favorito. Em vez de ler mil artigos, fazer anotações e criar uma lista de compostos de lítio, as incorporações de palavras resolveram a tarefa em poucos segundos.

Este é o poder da incorporação de palavras. Convertendo consultas semânticas em operações matemáticas de vetores, esta abordagem nos permite consultar e compreender grandes bancos de dados de texto melhor e mais eficientemente.

Como um exemplo adicional, os pesquisadores estudaram com que frequência um composto químico era encontrado perto do vetor para 'termoelétricos'. (Estes são materiais que convertem energia elétrica em calor ou vice-versa).

Você pode fazer isso através de uma operação vetorial direta chamada produto escalar. Vetores que são semelhantes têm um produto escalar se aproximando de um. Vetores dissimilares têm produto escalar próximo de zero.

Realizando a mesma operação em compostos químicos no banco de dados e a palavra 'termoelétrico', os autores encontraram todos os produtos químicos que eram provavelmente termoelétricos.

As incorporações de palavras do banco de dados de resumos podem responder a perguntas como: Se Zr é Hexagonal, Cromo é …? (Cúbico de Corpo Centrado) De [2]

Os autores continuam a mostrar que relações semelhantes podem ser demonstradas para várias propriedades de materiais, como estrutura cristalina e ferroeletricidade. Além disso, mostram que usando esta técnica, vários dos termoelétricos atuais poderiam ter sido previstos anos atrás a partir da literatura existente.

A análise é uma expressão muito bela, elegante, mas enganosamente simples da pergunta 'De todos os materiais estudados pelo homem, quais são provavelmente termoelétricos'.

Bancos de dados de materiais são a necessidade do momento

Você assumiria que já temos esta lista — claramente alguém tem feito anotações de todo o trabalho que temos feito? Compilando manuais de materiais e bancos de dados eletrônicos?

A resposta é um surpreendente não. A vasta quantidade de conhecimento que acumulamos ao longo dos anos está trancada em textos como livros, periódicos e artigos. Há tantos deles que é impossível para nós examiná-los manualmente.

É precisamente por isso que incorporações de palavras e as técnicas demonstradas neste artigo são nada menos que revolucionárias.
Elas prometem mudar a forma como interagimos com texto e acelerar rapidamente nosso banco de dados de materiais.

Quais são alguns dos materiais que foram estudados para piezoeletricidade? Existe um supercondutor que perdemos na literatura? Existe um novo medicamento que pode curar Alzheimer?
Pergunte às incorporações de palavras. Elas saberiam.