Por que a IA Precisa de uma Abordagem Proativa de Segurança: Lições de 30+ Anos em Engenharia de Eletrônica de Alta Potência

Como ex-engenheiro de eletrônica de alta potência, projetei e testei fontes de alimentação de alta tensão para uma ampla variedade de aplicações, desde sistemas protótipos de tomografia computadorizada até aceleradores de partículas. Fiz o mesmo com sistemas de micro-ondas de alta potência para tudo, desde simuladores para testar efeitos de radar em eletrônicos sensíveis de aeronaves em um extremo até processamento de granola no outro. Por mais de 30 anos, lidei com dezenas de quilovolts de tensão CC e dezenas de quilowatts de potência de micro-ondas.

Blog do Ed

Após décadas de trabalho como EE, Ed Brown do SAE Media Group está bem em sua segunda carreira: Editor de Tecnologia.

"Percebi, olhando para trás para meus dias de engenharia e observando todo o mais recente e melhor como editor, tenho muitos pensamentos sobre o que está acontecendo agora à luz de minhas experiências de engenharia, e gostaria de compartilhar alguns deles agora." .

Tudo tinha que ser projetado com margens de segurança tão grandes quanto práticas e com o objetivo de ser à prova de falhas. Isso significava pensar antecipadamente nas possíveis maneiras que o sistema poderia falhar e projetar para minimizar a chance de que uma falha causasse lesão ou dano. Por exemplo, usávamos "crowbars" eletrônicos que curto-circuitariam a saída com segurança em microssegundos se um sensor sinalizasse que havia um aumento súbito na corrente de carga. Mas isso era um sistema ativo, que não funcionaria no caso de uma falha de energia. Então, usamos um crowbar mecânico de backup, mantido por um eletroímã como proteção à prova de falhas. Se a energia da linha de entrada falhasse, uma barra de metal cairia através da saída. Isso era importante porque mesmo sem energia poderia haver quantidades perigosas de energia armazenada em bancos de capacitores — algo que descobri assustadoramente por mim mesmo quando recebi um choque de uma fonte de alimentação que pensei estar seguramente desligada.

É com essa mentalidade que penso sobre inteligência artificial (IA). Não me preocupo que a IA desloque a inteligência humana e nos transforme todos em robôs. Mas me preocupo em confiar pesadamente nela, especialmente em pelo menos duas áreas: aplicações de segurança em sistemas avançados de assistência ao motorista (ADAS) e veículos autônomos e diagnóstico de doenças.

Então, chamou minha atenção quando li sobre "limitações inerentes" na IA . Pesquisadores da Universidade de Cambridge e da Universidade de Oslo afirmam que as redes neurais que processam IA podem ser instáveis sob certas condições, e que a incerteza não pode ser corrigida simplesmente adicionando mais dados de treinamento. Segundo os pesquisadores, precisamos de mais trabalho teórico para melhor entender a matemática da computação de IA. Para obter resultados mais confiáveis, você tem que entender a fonte particular do erro e mudar o método de IA para corrigi-lo.

Pesquisadores da Universidade da Califórnia, Berkeley, e da Universidade do Texas em Austin notaram um problema  quando falharam em replicar os resultados promissores de um estudo de imagem médica. "Após vários meses de trabalho, percebemos que os dados de imagem usados no artigo tinham sido pré-processados," disse o investigador principal do estudo Michael Lustig, professor de engenharia elétrica e ciência da computação da UC Berkeley.

Essa foi a fonte do problema. "Queríamos aumentar a conscientização do problema para que pesquisadores possam ser mais cuidadosos e publicar resultados mais realistas," disse Lustig.

Eles descobriram que a imprecisão foi causada pelo uso de um banco de dados público tendencioso para treinar o sistema. Os pesquisadores cunharam o termo "crimes de dados implícitos" para descrever resultados de pesquisa que resultam quando algoritmos são desenvolvidos usando metodologia defeituosa.

Em um P&R com Billy Hurley, Gerente Editorial Digital da SAE, Professor Eckehard Steinbach da Universidade Técnica de Munique (TUM) descreveu situações automotivas potencialmente críticas que modelos de IA "podem não ser capazes de reconhecer, ou ainda têm a descobrir." Por exemplo, um padrão de frenagem repetida pode ser direção regular em clima quente mas pode indicar um desengate iminente se as estradas estão geladas e escorregadias. Tais padrões podem ser difíceis de reconhecer.

Mas do lado positivo, a equipe de Steinbach desenvolveu tecnologia de segurança que aprende introspectivamente de seus próprios erros anteriores. "Se o carro entra em uma situação para a qual não foi treinado, problemas podem surgir," disse Steinbach. "Tais cenas novas causam intervenção humana, o que leva a essas cenas sendo usadas como dados de treinamento para nossa abordagem. Embora nosso método possa então ajudar a detectar tal novo ambiente desafiador na próxima vez que for encontrado, detectar e gerenciar corretamente uma cena totalmente nova na primeira vez que for encontrada permanece uma tarefa desafiadora."

Minha conclusão de tudo isso é que a IA pode acelerar e melhorar o diagnóstico médico. Também pode ajudar a tornar veículos muito mais seguros na estrada. Mas você tem que prestar atenção cuidadosa aos seus métodos.

É vital pensar como um engenheiro de alta tensão quando você está projetando um sistema de IA: pense antecipadamente nas possíveis maneiras que o sistema pode falhar e projete-o com o objetivo de minimizar as chances de que isso aconteça. E se uma falha ocorrer, vise reduzir as chances de lesão ou dano.

Você concorda? Compartilhe suas perguntas e comentários abaixo.

Leia mais do Blog do Ed: Projetando do Exterior para Interior vs Interior para Exterior