As limitações inerentes da IA ​​exigem uma mentalidade de segurança "antecipada"

Como ex-engenheiro de eletrônica de alta potência, projetei e testei fontes de alimentação de alta tensão para uma ampla variedade de aplicações, desde protótipos de sistemas de varredura CAT até aceleradores de partículas. Fiz o mesmo com sistemas de microondas de alta potência para tudo, desde simuladores para testar os efeitos do radar em eletrônicos sensíveis de aeronaves em um extremo até o processamento de granola no outro. Por mais de 30 anos, lidei com dezenas de quilovolts de tensão CC e dezenas de quilowatts de potência de micro-ondas.

Blog do Ed

Após décadas de trabalho como EE, Ed Brown, do SAE Media Group, está em sua segunda carreira:Editor Técnico.

“Percebi, olhando para meus dias de engenharia e assistindo a todos os melhores e mais recentes como editor, que tenho muitos pensamentos sobre o que está acontecendo agora à luz de minhas experiências de engenharia, e gostaria de compartilhar alguns deles agora .” .

Tudo tinha que ser projetado com margens de segurança tão grandes quanto possível e com o objetivo de ser à prova de falhas. Isso significava pensar com antecedência nas possíveis maneiras pelas quais o sistema poderia falhar e projetar para minimizar a chance de uma falha causar ferimentos ou danos. Por exemplo, usamos “pés-de-cabra” eletrônicos que iriam curto-circuitar com segurança a saída em microssegundos se um sensor sinalizasse que havia um aumento repentino na corrente de carga. Mas esse era um sistema ativo, que não funcionaria em caso de falha de energia. Então, usamos um pé-de-cabra mecânico de apoio, sustentado por um eletroímã como proteção à prova de falhas. Se a energia da linha de entrada falhar, uma barra de metal cairia na saída. Isso foi importante porque, mesmo sem energia, poderia haver quantidades perigosas de energia armazenada em bancos de capacitores – algo que uma vez descobri assustadoramente por mim mesmo quando recebi um choque de uma fonte de alimentação que pensei estar desligada com segurança.

É com essa mentalidade que penso em inteligência artificial (IA). Não me preocupo que a IA desloque a inteligência humana e nos transforme em robôs. Mas eu me preocupo em confiar demais nele, especialmente em pelo menos duas áreas:aplicações de segurança em sistemas avançados de assistência ao motorista (ADAS) e veículos autônomos e diagnóstico de doenças.

Então, chamou minha atenção quando li sobre “limitações inerentes” na IA . Pesquisadores da Universidade de Cambridge e da Universidade de Oslo afirmam que as redes neurais que processam a IA podem ser instáveis ​​sob certas condições e que a incerteza não pode ser corrigida simplesmente adicionando mais dados de treinamento. De acordo com os pesquisadores, precisamos de mais trabalho teórico para entender melhor a matemática da computação de IA. Para obter resultados mais confiáveis, você precisa entender a origem específica do erro e alterar o método de IA para corrigi-lo.

Pesquisadores da Universidade da Califórnia, Berkeley e da Universidade do Texas em Austin notaram um problema quando eles não conseguiram replicar os resultados promissores de um estudo de imagem médica. “Após vários meses de trabalho, percebemos que os dados de imagem usados ​​no artigo foram pré-processados”, disse o pesquisador principal do estudo, Michael Lustig, professor de engenharia elétrica e ciências da computação da UC Berkeley.

Essa foi a fonte do problema. “Queríamos aumentar a conscientização sobre o problema para que os pesquisadores pudessem ser mais cuidadosos e publicar resultados mais realistas”, disse Lustig.

Eles descobriram que a imprecisão foi causada pelo uso de um banco de dados público tendencioso para treinar o sistema. Os pesquisadores cunharam o termo “crimes de dados implícitos” para descrever os resultados de pesquisas que resultam quando os algoritmos são desenvolvidos usando uma metodologia defeituosa.

Em uma sessão de perguntas e respostas com Billy Hurley, gerente editorial digital da SAE, o professor Eckehard Steinbach, da Universidade Técnica de Munique (TUM), descreveu situações automotivas potencialmente críticas que os modelos de IA “podem não ser capazes de reconhecer, ou ainda precisam descobrir”. Por exemplo, um padrão de frenagem repetida pode ser a condução regular em clima quente, mas pode indicar um desligamento iminente se as estradas estiverem geladas e escorregadias. Esses padrões podem ser difíceis de reconhecer.

Mas pelo lado positivo, a equipe de Steinbach desenvolveu uma tecnologia de segurança que aprende introspectivamente com seus próprios erros anteriores. "Se o carro entrar em uma situação para a qual não foi treinado, podem surgir problemas", disse Steinbach. "Essas cenas novas causam intervenção humana, o que leva essas cenas a serem usadas como dados de treinamento para nossa abordagem. Embora nosso método possa ajudar a detectar um novo ambiente desafiador na próxima vez que for encontrado, detectando e gerenciando corretamente uma cena totalmente nova a primeira vez que é encontrado continua sendo uma tarefa desafiadora.”

Minha conclusão de tudo isso é que a IA pode acelerar e melhorar o diagnóstico médico. Também pode ajudar a tornar os veículos muito mais seguros na estrada. Mas você tem que prestar muita atenção aos seus métodos.

É vital pensar como um engenheiro de alta tensão ao projetar um sistema de IA:pense antecipadamente nas possíveis maneiras pelas quais o sistema pode falhar e projete-o com o objetivo de minimizar as chances de que isso aconteça. E se ocorrer uma falha, procure reduzir as chances de ferimentos ou danos.

Você concorda? Compartilhe suas perguntas e comentários abaixo.

Leia mais no blog do Ed:Projetando de fora para dentro versus de dentro para fora