ETSI Revela Primeiro Blueprint de Padrão de Segurança para IA

A ETSI, órgão europeu que define padrões para telecom, radiodifusão e comunicações eletrônicas, lançou um relatório de 24 páginas que estabelece as bases para um padrão unificado de segurança de IA.

O relatório, intitulado ETSI GR SAI 004 e produzido pelo Grupo de Especificação da Indústria para Segurança de Inteligência Artificial (SAI ISG), começa articulando o problema central: como proteger sistemas impulsionados por IA. Foca em machine learning e examina confidencialidade, integridade e disponibilidade ao longo de todo o ciclo de vida do ML. O documento também destaca questões mais amplas como viés, ética e explicabilidade, e cataloga vetores de ataque comuns com exemplos reais.

Para enquadrar a discussão, o SAI ISG define inteligência artificial como a capacidade de um sistema processar representações explícitas ou implícitas e realizar tarefas que seriam consideradas inteligentes se realizadas por um humano. Embora essa definição cubra um amplo espectro, o relatório concentra-se no subconjunto mais prático — machine learning — impulsionado por avanços em deep learning, dados abundantes e poder computacional crescente.

Paradigmas comuns de ML cobertos incluem:

• Aprendizado supervisionado — todos os dados de treinamento são rotulados, permitindo que o modelo aprenda um mapeamento de entradas para saídas.
• Aprendizado semi-supervisionado — apenas uma parte dos dados é rotulada, permitindo que o modelo melhore aproveitando amostras rotuladas e não rotuladas.
• Aprendizado não supervisionado — o modelo descobre estrutura em dados não rotulados, como clusters ou agrupamentos.
• Aprendizado por reforço — agentes aprendem uma política através de interação com um ambiente, otimizando um sinal de recompensa.

Redes neurais profundas dominam o cenário, com camadas que emulam circuitos do cérebro humano. Técnicas de treinamento como aprendizado adversarial — onde o conjunto de dados contém amostras genuínas e adversariais deliberadamente criadas — também são exploradas.

"Há muitas discussões sobre ética de IA, mas nenhuma sobre padrões para proteger IA. Ainda assim, elas estão se tornando críticas para garantir a segurança de redes automatizadas baseadas em IA," diz Alex Leadbeater, Chair do ETSI SAI ISG. "Este primeiro relatório visa fornecer uma definição abrangente dos desafios enfrentados ao proteger IA."

Leadbeater adicionou ao embedded.com: "Uma estimativa razoável para as especificações técnicas é mais 12 meses. Publicaremos relatórios adicionais nos próximos trimestres — Ontologia de Ameaças de IA, Relatório da Cadeia de Suprimentos de Dados e Relatório de Estratégia de Mitigação SAI. A primeira especificação de teste de segurança deve aparecer até o final do Q2/Q3."

Estrutura do relatório

Após definir IA e ML, o relatório mergulha na cadeia de processamento de dados, abordando confidencialidade, integridade e disponibilidade em cada estágio — da aquisição, curadoria, design do modelo e build de software, passando por treinamento, teste, implantação, inferência e atualizações.

Dados podem vir de sensores (ex: CCTV, celulares, dispositivos médicos) ou ativos digitais (plataformas de trading, documentos, arquivos de log). Podem ser texto, imagens, vídeo ou áudio, e podem ser estruturados ou não. A segurança deve cobrir tanto os dados quanto sua transmissão e armazenamento.

Por exemplo, durante a curadoria de dados, a integridade dos conjuntos de dados deve ser preservada ao reparar, aumentar ou convertê-los. Em ML supervisionado, rotulagem precisa e completa é crítica; ataques de envenenamento que corrompem rótulos podem degradar severamente o desempenho do modelo. Viés permanece uma preocupação chave, e técnicas como aumento de dados devem ser examinadas quanto a possíveis impactos na integridade.

Desafios de design em torno de viés, ética de dados e explicabilidade também são examinados. Viés pode emergir não apenas durante o treinamento, mas também após a implantação, como ilustrado por um chatbot de 2016 que começou a tuitar conteúdo ofensivo devido a manipulação maliciosa de sua conta. Embora o viés em si não seja uma falha de segurança, ele mina a confiança do usuário e pode levar a falhas funcionais.

Considerações éticas são destacadas através de exemplos como veículos autônomos e saúde. Um incidente de 2018 em Tempe, Arizona, onde um carro autônomo atropelou um pedestre, ressaltou dilemas legais e éticos. O projeto Moral Machine do MIT, lançado em 2016, explora como humanos respondem a escolhas morais algorítmicas, informando como máquinas devem agir.

O relatório enfatiza que preocupações éticas, embora distintas dos atributos tradicionais de segurança (confidencialidade, integridade, disponibilidade), moldam a percepção do usuário sobre confiabilidade e devem ser incorporadas no design de IA.

Finalmente, o relatório cataloga tipos de ataque — incluindo envenenamento, backdoor e engenharia reversa — e apresenta casos de uso e incidentes reais.

Um ataque de envenenamento manipula o modelo durante o treinamento para que ele se comporte da maneira desejada pelo atacante. Vetores comuns incluem:

• Envenenamento de dados — injeção de dados incorretos ou mal rotulados durante coleta ou curadoria.
• Envenenamento de algoritmo — adulteração do próprio algoritmo de aprendizado, como manipulação de contribuições de federated learning.
• Envenenamento de modelo — substituição do modelo implantado por uma variante maliciosa.

A evolução da IA — desde suas origens em Dartmouth nos anos 1950 até aplicações modernas — levou a ameaças como ataques a bloqueadores de anúncios, ofuscação de malware, deepfakes e personificação de chatbots.

O que vem a seguir? Relatórios contínuos como parte deste ISG

Itens de trabalho futuros aprofundarão a investigação em várias áreas críticas:

Testes de segurança

Este item visa definir objetivos, métodos e técnicas para testar componentes de IA. Diretrizes considerarão IA simbólica vs. sub-simbólica, não-determinismo, o problema do oráculo de teste e comportamento orientado a dados. Tópicos incluem:

• Abordagens de teste de segurança para IA
• Dados de teste focados em segurança para IA
• Oráculos de teste adaptados a saídas de IA
• Critérios de adequação para teste de segurança de IA
• Metas de teste de atributos de segurança para IA

Resultados construirão sobre a futura Ontologia de Ameaças de IA para abordar ameaças relevantes.

Ontologia de ameaças de IA

Este entregável criará uma taxonomia compartilhada de ameaças específicas de IA, diferenciando-as de ameaças de sistemas tradicionais. Alinhará terminologia entre partes interessadas e indústrias, cobrindo atacantes, defensores e sistemas de IA.

Relatório da cadeia de suprimentos de dados

Como dados de treinamento são a força vital da IA, proteger sua cadeia de suprimentos é fundamental. Este relatório examinará práticas atuais de sourcing de dados, frameworks regulatórios, padrões e protocolos, e realizará análise de lacunas para propor requisitos de rastreabilidade, integridade e confidencialidade de dados de treinamento.

Estratégia de mitigação SAI

Resumindo mitigações existentes e potenciais, este relatório fornecerá diretrizes para defender sistemas de IA contra ameaças identificadas, delineando capacidades de segurança, desafios e limitações para casos de uso específicos.

O papel do hardware na segurança de IA

Hardware — tanto especializado quanto de propósito geral — desempenha papel crucial na proteção de IA. O relatório catalogará mitigações de hardware, requisitos para IA segura, e oportunidades de usar IA para defesa de hardware, observando vulnerabilidades de hardware que poderiam amplificar ataques de IA.

O relatório completo da ETSI definindo a declaração do problema para proteger IA está disponível aqui.