GLTR:Um novo método para detectar linguagem gerada por computador

• O novo método estatístico pode detectar conteúdo gerado por IA.
• Funciona identificando textos que são muito previsíveis, em vez de apenas sinalizar erros nos textos.

Na última década, a comunidade de processamento de linguagem natural testemunhou o crescimento de modelos de linguagem cada vez maiores e mais inteligentes.

Em uma época de inteligência artificial e redes neurais profundas equipadas com a linguagem natural humana, pesquisadores da Harvard University e da IBM Research desenvolveram um método estatístico para detectar texto gerado por computador.

Eles construíram uma ferramenta interativa (disponível publicamente) para diferenciar a linguagem humana natural e o texto gerado por máquinas da fala humana. O objetivo é dar às pessoas mais informações para que possam tomar uma decisão informada sobre o que é falso e o que é real.

Os modelos de inteligência artificial geralmente são treinados em milhões de textos (retirados da rede mundial de computadores). Eles predizem palavras que na maioria das vezes seguem umas às outras para imitar a linguagem humana. Por exemplo, a palavra “Você” é estaticamente mais provável de ser seguida pelas palavras “eram”, “têm” e “são”.

Usando essa metodologia, os pesquisadores construíram uma ferramenta que detecta textos que são muito previsíveis [ao invés de sinalizar erros nos textos]. Ele permite que a IA e os humanos trabalhem juntos para identificar a linguagem gerada pela máquina.

Como funciona?

A nova técnica - batizada de Giant Language model Test Room (GLTR) - é baseada em um modelo treinado em cerca de 45 milhões de textos de sites. Ele tem acesso a um dos maiores modelos disponíveis publicamente, GPT-2.

Assim, ele pode observar o que o GPT-2 teria previsto em cada posição (para qualquer entrada textual) e tem um desempenho eficiente em relação ao GPT-2 e muitos outros modelos.

GLTR representa uma ferramenta visualmente forense para identificar textos gerados automaticamente. Mostra 3 histogramas diferentes agregando as informações sobre todo o texto.

Referência:The Harvard Gazette | GitHub

Basta inserir um parágrafo na caixa de ferramentas e todas as palavras serão destacadas em quatro cores diferentes, cada uma denotando a previsibilidade da palavra no contexto que segue. Roxo significa que a palavra não é previsível; vermelho, ligeiramente previsível; amarelo, moderadamente previsível; e o verde mostra palavras altamente previsíveis no parágrafo.

É assim que um parágrafo gerado por máquina se parece -



O primeiro histograma mostra quantas palavras de cada categoria aparecem no parágrafo. O segundo mostra a razão entre as probabilidades da palavra predita mais alta e da palavra seguinte. O terceiro histograma representa a distribuição sobre as entropias de previsão.

Claro, a incerteza será maior para textos escritos por humanos, especialmente para artigos de pesquisa e textos acadêmicos. É assim que se parece o resumo de um artigo de pesquisa (em galáxias EAGLE) -



Leia:A inteligência artificial pode gerar fala a partir da atividade neural

A equipe de pesquisa também testou sua nova ferramenta com um grupo de graduados em ciência da computação. Os alunos foram capazes de detectar 50% dos parágrafos gerados por computador, porém com a ajuda desta ferramenta, eles identificaram 72%. O percentual pode ficar ainda melhor com um pouco de treinamento com o sistema.