Construindo IA responsável e confiável

Scott Zoldi da FICO
À medida que o uso da IA ​​se torna ainda mais difundido, cientistas de dados e organizações apenas "fazendo o melhor" não serão suficientes. Scott Zoldi, especialista em IA da FICO explica que, com a ascensão dos defensores da IA, a IA responsável será a expectativa e o padrão.

Nos últimos anos, os dados e a IA tornaram-se amplamente usados ​​em uma infinidade de setores para informar e moldar estratégias e serviços, de saúde e varejo a bancos e seguros. E, mais recentemente, a IA ganhou destaque no rastreamento na batalha contra o coronavírus.

No entanto, os volumes crescentes de dados gerados digitalmente, juntamente com a necessidade de tomada de decisão automatizada habilitada pela IA, estão apresentando novos desafios, para empresas e governos, com um foco crescente no raciocínio por trás dos algoritmos de tomada de decisão de IA.

À medida que a IA leva a tomada de decisões para longe dos indivíduos afetados pela decisão, as decisões podem parecer mais insensíveis, talvez até descuidadas. Não é incomum que as organizações citem dados e algoritmos como justificativa para decisões impopulares e isso pode ser motivo de preocupação quando se trata de líderes respeitados que cometem erros.

Alguns exemplos incluem:chatbot online racista e ofensivo da Microsoft em 2016, sistema de recrutamento de IA da Amazon que ignorou candidatas em 2018 e o carro Tesla que bateu no piloto automático após confundir um caminhão com uma placa de rua suspensa em 2019.

Além do potencial para tomada de decisão incorreta, há também a questão do viés da IA. Como resultado, novos regulamentos foram introduzidos para proteger os direitos do consumidor e acompanhar de perto os desenvolvimentos de IA.

Os pilares da IA ​​responsável

As organizações precisam implementar uma IA robusta agora. Para fazer isso, eles devem fortalecer e definir seus padrões com três pilares da IA ​​responsável:explicabilidade, responsabilidade e ética. Com isso em vigor, organizações de todos os tipos podem ter certeza de que estão tomando boas decisões digitais.

Explicabilidade :Uma empresa que conta com um sistema de decisão de IA deve garantir que haja uma construção algorítmica que capture as relações entre as variáveis ​​de decisão para chegar a uma decisão de negócios. Com acesso a esses dados, uma empresa pode explicar por que o modelo tomou a decisão que tomou - por exemplo, sinalizou uma transação como um alto risco de fraude. Essa explicação pode então ser usada por analistas humanos para investigar mais as implicações e a precisão do decisão.

Responsabilidade :Os modelos de aprendizado de máquina devem ser construídos de maneira adequada e com foco nas limitações do aprendizado de máquina e na consideração cuidadosa dos algoritmos usados. A tecnologia deve ser transparente e compatível. A consideração no desenvolvimento de modelos garante que as decisões façam sentido, por exemplo, as pontuações se adaptam de forma adequada com o aumento do risco.

Além da IA ​​explicável, existe o conceito de IA humilde - garantindo que o modelo seja usado apenas nos exemplos de dados semelhantes aos dados nos quais foi treinado. Quando esse não for o caso, o modelo pode não ser confiável e deve-se fazer o downgrade para um algoritmo alternativo.

Ética :Com base na explicabilidade e responsabilidade, os modelos éticos devem ter sido testados e qualquer discriminação removida. Arquiteturas de aprendizado de máquina explicáveis ​​permitem a extração de relacionamentos não lineares que normalmente ocultam o funcionamento interno da maioria dos modelos de aprendizado de máquina. Essas relações não lineares precisam ser testadas, pois são aprendidas com base nos dados nos quais o modelo foi treinado e esses dados estão, muitas vezes, implicitamente repletos de preconceitos sociais. Os modelos éticos garantem que o preconceito e a discriminação sejam explicitamente testados e removidos.

Forças que impõem IA responsável

Construir modelos de IA responsáveis ​​leva tempo e um trabalho árduo, com um exame minucioso e contínuo, crucial para impor uma IA contínua responsável. Esse escrutínio deve incluir regulamentação, auditoria e defesa.

Os regulamentos são importantes para definir o padrão de conduta e o estado de direito para o uso de algoritmos. Porém, no final, os regulamentos são atendidos ou não e demonstrar alinhamento com o regulamento exige auditoria.

Demonstrar conformidade com a regulamentação requer uma estrutura para a criação de modelos auditáveis ​​e processos de modelagem. Esses materiais de auditoria incluem o processo de desenvolvimento do modelo, algoritmos usados, testes de detecção de viés e demonstração do uso de decisões e pontuação razoáveis. Hoje, as auditorias do processo de desenvolvimento de modelos são feitas de maneira aleatória.

Novos sistemas de auditoria de desenvolvimento de modelo com base em blockchain estão sendo introduzidos para impor e registrar padrões de desenvolvimento de modelo imutáveis, métodos de teste e resultados. Além disso, eles estão sendo usados ​​para registrar contribuições detalhadas das aprovações dos cientistas de dados e da administração ao longo do ciclo de desenvolvimento do modelo.

Olhando para o futuro, as organizações "fazendo o melhor" com dados e IA não serão suficientes. Com a ajuda dos defensores da IA ​​e o sofrimento real que é infligido devido aos resultados errados dos sistemas de IA, a IA responsável logo será a expectativa e o padrão em todo o conselho e em todo o mundo.

As organizações devem aplicar a IA responsável agora e fortalecer e definir seus padrões de explicabilidade, responsabilidade e ética da IA ​​para garantir que estejam se comportando de maneira responsável ao tomar decisões digitais.

O autor é o Dr. Scott Zoldi é diretor de análise da FICO .

Sobre o autor

O Dr. Scott Zoldi é diretor de análise da FICO. Enquanto esteve na FICO, Scott foi responsável pela autoria de 110 patentes de autoria, sendo 56 concedidas e 54 pendentes. Scott está ativamente envolvido no desenvolvimento de novos produtos analíticos e aplicativos analíticos de Big Data, muitos dos quais alavancam novas inovações analíticas de streaming, como analítica adaptativa, criação de perfil colaborativa e analítica autocalibrada. Scott atua em dois conselhos de diretores, Software San Diego e Cyber ​​Center of Excellence. Scott recebeu seu Ph.D. em física teórica e computacional pela Duke University.