Comprimindo o valor dos dados para AI

Os dados são tudo - em muitos aspectos, é a única coisa - para fornecedores de veículos autônomos (AVs) que dependem do aprendizado profundo como a chave para a condução autônoma.

Os dados são a razão pela qual as empresas de antivírus estão acumulando quilômetros e quilômetros de experiência em testes em estradas públicas, registrando e armazenando petabytes de conhecimento rodoviário. Waymo, por exemplo, reivindicou em julho mais de 10 milhões de milhas no mundo real e 10 bilhões de milhas em simulação.

Mas aqui está outra pergunta que a indústria não gosta de fazer:

Suponha que as empresas de antivírus já coletaram petabytes ou mesmo exabytes de dados em estradas reais. Quanto desse conjunto de dados foi rotulado? Talvez mais importante, quão precisos são os dados que foram anotados?

Em uma entrevista recente ao EE Times, Phil Koopman, cofundador e CTO da Edge Case Research, afirmou que “ninguém pode se dar ao luxo de rotular tudo isso”.

Rotulagem de dados:demorada e cara

A anotação normalmente requer olhos humanos experientes para assistir a um breve videoclipe e, em seguida, desenhar e etiquetar caixas ao redor de cada carro, pedestre, sinalização rodoviária, semáforo ou qualquer outro item possivelmente relevante para um algoritmo de direção autônomo. O processo não é apenas demorado, mas muito caro.

Uma história recente no Medium intitulada “Anotação de dados:O negócio de um bilhão de dólares por trás dos avanços da IA” ilustra o rápido surgimento de “serviços de rotulagem de dados gerenciados” projetados para fornecer dados rotulados específicos de domínio com ênfase no controle de qualidade. A história notou:

Além de suas equipes internas de rotulagem de dados, empresas de tecnologia e startups autônomas também dependem fortemente desses serviços de rotulagem gerenciados ... algumas empresas autônomas estão pagando empresas de rotulagem de dados acima de milhões de dólares por mês.

Em outra história do IEEE Spectrum alguns anos atrás, Carol Reiley, cofundadora e presidente da Drive.ai foi citada dizendo:

Milhares de pessoas etiquetando caixas ao redor das coisas. Para cada hora dirigida, leva aproximadamente 800 horas humanas para marcar. Todas essas equipes terão dificuldades. Já somos magnitudes mais rápidas e otimizamos constantemente.

Algumas empresas, como a Drive, estão usando o aprendizado profundo para aprimorar a automação da anotação de dados, como uma forma de acelerar o tedioso processo de rotulagem de dados.

Vamos usar dados não rotulados

Koopman, no entanto, acredita que há outra maneira de “extrair o valor dos dados acumulados”. Que tal fazer isso “sem rotular a maioria dos petabytes de dados gravados?”

Ele explicou que a Edge Case Research “tropeçou” nisso, ao desenvolver uma maneira de permitir que a indústria de antivírus acelerasse o desenvolvimento de software de percepção mais segura. A Edge Case Research chama isso de “Holograma”, que é, em essência, um “sistema de análise de risco e teste de percepção de estresse de IA” projetado para AVs.

Mais especificamente, como Koopman explicou, “o holograma usa dados não rotulados” e o sistema executa os mesmos dados não rotulados duas vezes.

Primeiro, ele executa dados básicos não rotulados em um mecanismo de percepção normal pronto para uso. Então, com os mesmos dados não rotulados, o holograma é aplicado, adicionando uma perturbação muito leve - ruído. Ao colocar pressão no sistema, o holograma pode expor a fraqueza potencial da percepção em algoritmos de IA.

Se um pouco de grão for adicionado a um videoclipe, por exemplo, um humano pode perceber que "há algo ali, mas eu não sei o que é".

Mas um sistema de percepção dirigido por IA, colocado sob estresse, pode perder totalmente um objeto desconhecido ou chutá-lo além do limite e colocá-lo em um compartimento de classificação diferente.

Quando a IA ainda está aprendendo, saber seu nível de confiança (pois determina o que está vendo) é útil. Mas quando a IA é aplicada no mundo, o nível de confiança não nos diz muito. A IA muitas vezes é "adivinhando" ou simplesmente "supondo".

Em outras palavras, a IA está fingindo.

O holograma, por design, pode "cutucar" o software de percepção baseado em IA. Ele expõe onde um sistema de IA falhou. Por exemplo, um sistema estressado resolve sua confusão fazendo misteriosamente um objeto desaparecer de cena.

Talvez, o mais interessante, o holograma também possa identificar, sob ruído, onde a IA “quase falhou”, mas acertou. O holograma revela áreas em um videoclipe onde o sistema controlado por IA "poderia ter dado azar", disse Koopman.

Sem rotular petabytes de dados, mas executando-os duas vezes, o Hologram pode fornecer um alerta onde as coisas parecem "duvidosas" e áreas onde "é melhor você voltar e olhar novamente" coletando mais dados ou fazendo mais treinamento, disse Koopman .

Esta, é claro, é uma versão muito simplificada do holograma, porque a ferramenta em si, na realidade, “vem com muitos molhos secretos apoiados por uma tonelada de engenharia”, disse Koopman. Mas se o Hologram puder dizer aos usuários “apenas as partes boas” que merecem revisão humana, isso pode resultar em uma maneira muito eficiente de obter valor real dos dados atualmente bloqueados.

“As máquinas são incrivelmente boas para manipular o sistema”, observou Koopman. Ou “fazer coisas como‘ p-hacking ’”. P-hacking é um tipo de viés que ocorre quando os pesquisadores coletam ou selecionam dados ou análises estatísticas até que resultados não significativos se tornem significativos. As máquinas, por exemplo, podem encontrar correlações dentro de dados onde não existem.

Conjunto de dados de código aberto

Questionado sobre se essas são boas notícias para a Edge Case Research, Koopman disse:“Infelizmente, esses conjuntos de dados são disponibilizados apenas para a comunidade de pesquisa. Não é para uso comercial. ”

Além disso, mesmo se você usar esse conjunto de dados para executar o holograma, você deve usar o mesmo mecanismo de percepção usado para coletar dados, para entender as áreas de fraqueza no sistema de IA de alguém.

Captura de tela do holograma

Abaixo está uma captura de tela mostrando como funciona a versão comercial mais recente do holograma.

O mecanismo de holograma encontra instâncias em que um sistema de percepção falhou em identificar este sinal de parada e fornece aos analistas ferramentas poderosas para descobrir condições de ativação, como o ruído de fundo. (Fonte:Edge Case Research)

Ao adicionar ruído, o holograma procura as condições de acionamento que fizeram um sistema de IA quase perder um sinal de parada (barras laranja) ou falhar completamente em reconhecer um sinal de parada (barras vermelhas para baixo).

As barras laranja avisam os projetistas de IA sobre áreas específicas que requerem um retreinamento do algoritmo de AL, por meio da coleta de mais dados. Barras vermelhas permitem que os projetistas de IA explorem e especulem as condições de ativação:O que fez com que a IA perdesse o sinal de parada? A placa estava muito perto de um poste? Havia um fundo barulhento ou contraste visível insuficiente? Quando exemplos suficientes de condições de acionamento se acumulam, pode ser possível identificar acionadores específicos, explicou Eben Myers, gerente de produto da Edge Case Research.

O holograma ajuda os designers de antivírus a encontrar os casos extremos em que seu software de percepção exibe um comportamento estranho e potencialmente inseguro. (Fonte:Edge Case Research)

Parceria com Ansys

No início desta semana, a Ansys anunciou um acordo de parceria com a Edge Case Research. A Ansys planeja integrar o Hologram em seu software de simulação. A Ansys vê a integração como um componente fundamental fundamental para projetar "a primeira cadeia de ferramentas de simulação holística da indústria para o desenvolvimento de AVs". A Ansys está colaborando com a BMW, que prometeu entregar seu primeiro AV em 2021.

ANSYS e BMW criam cadeia de ferramentas de simulação para Autonomous Driving (Fonte:Ansys)

- Junko Yoshida, Co-Editor-Chefe Global, AspenCore Media, Correspondente-Chefe Internacional, EE Times

>> Este artigo foi publicado originalmente em nosso site irmão, EE Times:“Use Unlabeled Data to See If AI Is Just Faking It.”