GLTR: Ferramenta Estatística Confiável para Identificar Texto Gerado por IA

Na última década, a comunidade de processamento de linguagem natural testemunhou o crescimento de modelos de linguagem cada vez maiores e mais inteligentes.

Em uma época de inteligência artificial e redes neurais profundas equipadas com linguagem natural humana, pesquisadores da Universidade de Harvard e IBM Research desenvolveram um método estatístico para detectar texto gerado por computador.

Construíram uma ferramenta interativa (disponível publicamente) para diferenciar linguagem humana natural e texto gerado por máquinas a partir da fala humana. O objetivo é dar às pessoas mais informação para que possam tomar uma decisão informada sobre o que é falso e o que é real.

Modelos de inteligência artificial são geralmente treinados em milhões de textos (retirados da web mundial). Eles preveem palavras que mais frequentemente seguem umas às outras para imitar linguagem humana. Por exemplo, a palavra "Você" é estatisticamente mais provável de ser seguida pelas palavras "estava", "tem", e "são".

Usando esta metodologia, os pesquisadores construíram uma ferramenta que detecta textos que são demasiado previsíveis [em vez de apenas sinalizar erros em textos]. Permite que tanto IA quanto humanos trabalhem juntos para identificar a linguagem gerada por máquina.

Como Funciona?

A nova técnica — chamada Giant Language model Test Room (GLTR) — é baseada em um modelo treinado em cerca de 45 milhões de textos de sites. Tem acesso a um dos maiores modelos publicamente disponíveis, o GPT-2.

Assim, pode observar o que o GPT-2 teria previsto em cada posição (para qualquer entrada textual) e funciona eficientemente contra GPT-2 e muitos outros modelos.

O GLTR representa uma ferramenta forense visual para identificar textos gerados automaticamente. Mostra 3 histogramas diferentes agregando a informação sobre todo o texto.

Basta inserir um parágrafo na caixa de ferramentas e ele destacará todas as palavras em quatro cores diferentes, cada uma denotando a previsibilidade da palavra no contexto do que a segue. Roxo significa que a palavra não é previsível; vermelho, levemente previsível; amarelo, moderadamente previsível; e verde mostra palavras altamente previsíveis no parágrafo.

É assim que um parágrafo gerado por máquina se parece –

O primeiro histograma mostra quantas palavras de cada categoria aparecem no parágrafo. O segundo mostra a razão entre as probabilidades da palavra mais prevista e a palavra seguinte. O terceiro histograma representa a distribuição sobre as entropias de previsão.

Claro, a incerteza será maior para textos escritos por humanos, especialmente para artigos de pesquisa e textos acadêmicos. É assim que o resumo de um artigo de pesquisa (sobre galáxias EAGLE) se parece –

A equipe de pesquisa também testou sua nova ferramenta com um grupo de graduados em ciência da computação. Os alunos conseguiram detectar 50% dos parágrafos gerados por computador, porém com a ajuda desta ferramenta, identificaram 72%. A porcentagem poderia ficar ainda melhor com um pequeno treinamento com o sistema.