Terça-feira técnica:Por que a orquestração é fundamental para a implantação eficaz do agente de IA

Novo na orquestração de agentes? Comece aqui .

Vamos cair na real:os agentes de IA não são fáceis de construir ou implantar. Mas uma vez incorporados, o impacto é incrível. Adoro ouvir clientes da UiPath como Ainara Etxeandia Sagasti, chefe de serviços digitais da Lantik, que está "combinando RPA, IA generativa e tecnologia de agência [para tornar] os serviços públicos mais acessíveis, eficientes e focados no cidadão do que nunca". Já foram criados mais de 10.000 agentes de IA na UiPath Platform™. Os agentes podem transformar a eficiência e a lucratividade dos processos, mas precisam de uma forte orquestração e da ajuda da automação e de pessoas no circuito.

Nesta postagem do blog, abordarei os pontos problemáticos mais comuns ao criar, testar ou implantar agentes de IA em escala. Também explicarei como uma abordagem orquestrada – baseada em agência controlada e interoperabilidade – pode mitigá-los.

1. Desempenho e confiabilidade dos agentes

Os desenvolvedores e usuários frequentemente citam a falta de confiabilidade dos agentes de IA como uma barreira à produção. Os grandes modelos de linguagem (LLMs) tornam os agentes flexíveis e adaptáveis, mas isso também leva a resultados inconsistentes. Isso pode frustrar o desenvolvimento e os testes. Como disse um engenheiro:"Meus agentes às vezes funcionam perfeitamente e depois falham completamente em entradas semelhantes. Precisamos de maneiras melhores de simular casos extremos e reproduzir falhas de forma consistente... monitorar o 'desvio' do agente ao longo do tempo é uma verdadeira dor de cabeça".

Outro desafio são as alucinações – agentes inventando fatos ou informações de ferramentas – que podem paralisar os processos. Um usuário que cria fluxos de trabalho de IA compartilhou:“Os maiores problemas que encontramos são a repetibilidade e as alucinações… garantindo que, para consultas iguais ou semelhantes, os agentes LLM não saiam dos trilhos e tenham alucinações com entradas para outras ferramentas”. Essa imprevisibilidade precisa de testes e validação extensivos, mas as ferramentas de teste de agentes são imaturas. Quando ocorrem erros, eles podem ser difíceis de diagnosticar devido ao raciocínio opaco do modelo. Isso faz com que as equipes sejam extremamente cautelosas em relação às mudanças:“Somos muito cautelosos com as mudanças imediatas do sistema neste momento porque ficamos exaustos ao dizer ao agente para não fazer algo e então ele começa a se comportar de forma estranha... tantas vezes”.

O desempenho dos modelos subjacentes de IA é outro problema. Modelos grandes podem consumir muitos recursos ou ser lentos, enquanto modelos menores podem não funcionar tão bem. Encontrar o equilíbrio certo é um desafio.

A falta de resultados consistentes e confiáveis torna difícil confiar nos agentes de IA para tarefas de missão crítica ou voltadas para o cliente sem amplas salvaguardas. Na prática, alcançar alta confiabilidade muitas vezes requer a simplificação do comportamento dos agentes, a introdução de restrições estritas ou a adoção de alternativas (como intervenção humana constante). No entanto, estas medidas tendem a comprometer a autonomia, a eficiência e, portanto, a utilidade dos agentes em cenários empresariais de valor acrescentado.

2. Agência controlada e interação humana

Embora os agentes de IA possam automatizar tarefas complexas, os desenvolvedores descobrem que a supervisão e a colaboração humanas são essenciais – e é difícil encontrar o equilíbrio certo. A autonomia total é muitas vezes impraticável porque os agentes podem cometer erros ou tomar decisões pouco claras. As empresas precisam de controle sobre o grau de agência, que pode aumentar com o tempo, à medida que os agentes se tornam mais precisos e confiáveis.

Uma abordagem comum é manter um “humano informado” para determinadas aprovações ou para lidar com casos extremos, mas isso pode retardar os processos se não for bem orquestrado. Em seguida, um “humano no circuito” é chamado para certas aprovações, decisões críticas e para lidar com exceções. Um engenheiro de IA observou que restringir agentes e envolver humanos leva a melhores resultados:“LLMs fortemente restritos com supervisão humana podem alcançar bons resultados para tarefas de média complexidade… Agentes [totalmente] autônomos e de uso geral [em escala]” ainda não são realistas.

Por outro lado, se a IA for controlada com muita rigidez ou exigir verificação constante, ela não cria ROI. Às vezes, um agente pode interromper fluxos de trabalho ou criar mais esforço do que economiza. Por exemplo, um desenvolvedor explicou como a codificação do Copilot interrompeu a produtividade ao forçar correções manuais:“Ele começa algo, mas não consegue terminar… Tenho que desviar minha atenção para verificar e fechar as tags, parênteses, etc.

O desafio é projetar fluxos de trabalho híbridos em que os agentes cuidam do trabalho, mas passam facilmente para os humanos para julgamentos, sem criar atrito extra.

3. Preocupações com custos e ROI

O ROI dos agentes de IA é uma preocupação recorrente, especialmente à medida que o uso aumenta. APIs de modelos de linguagem grandes (e a infraestrutura para executá-las) podem ser caras. As equipes se preocupam com aumentos de custos se os agentes não forem otimizados. Um usuário afirmou que os agentes atuais são “muito caros” para o que alcançam. O ROI pode ser difícil de medir quando a confiabilidade é baixa. Se um agente for bem-sucedido apenas durante parte do tempo, o custo de suas falhas (e soluções manuais) poderá superar os benefícios.

As empresas estão tentando controlar os custos por meio de métodos como otimizações de modelos e políticas de uso. Um usuário descreveu a implementação do cache para reduzir chamadas repetidas e a obtenção cuidadosa de dados de alta qualidade para melhorar a eficiência da produção. Outros se concentram em escolher o modelo certo para o trabalho:"Eu adoraria uma estrutura onde pudesse ter meu prompt... executá-lo em todos os modelos diferentes, [e] encontrar o melhor e mais barato. No momento, meu agente de IA usa mais de 200 modelos de prompt, e testar e testar novamente todos eles é caro." Em última análise, a engenharia imediata e a experimentação de modelos incorrem em custos reais.

Os modelos de preços dos fornecedores (por token, por chamada, etc.) também desempenham um papel. Por exemplo, usar GPT-4 para tudo pode ser um exagero, mas usar um modelo mais barato pode reduzir a qualidade. As equipes devem encontrar um equilíbrio para justificar o ROI. Além disso, a gestão pode questionar o valor comercial dos projetos dos agentes se estes exigirem gastos contínuos significativos em serviços de IA na nuvem ou em infraestrutura especializada. Sem ganhos claros (seja em ganho de receita ou redução de custos decorrentes da automação), pode ser difícil defender o investimento. Assim, otimizar custos e demonstrar o ROI estão em primeiro plano – as equipes querem “obter o retorno mais barato do meu investimento” com agentes de IA, misturando e combinando modelos enquanto se concentram em casos de uso de alto valor.

4. Preocupações com governança, segurança e privacidade

As organizações devem impor diretrizes éticas, de segurança e conformidade aos agentes de IA, mas é mais fácil falar do que fazer. A privacidade dos dados é uma das principais preocupações:muitas empresas proíbem ou restringem os serviços de IA na nuvem até terem certeza de que os dados confidenciais não vazarão. Um desenvolvedor compartilhou que seu local de trabalho proíbe ferramentas como o ChatGPT por causa dos riscos de propriedade intelectual:"Não. É considerado um risco de propriedade intelectual muito grande, [temendo] que possa vazar nossos segredos ou violar os direitos autorais de outra pessoa". Ao usar APIs de IA de terceiros, os profissionais se preocupam com o envio inadvertido de dados de clientes para esses serviços.

A segurança é outra questão:agentes autônomos representam um risco se não estiverem devidamente protegidos. Há relatos de equipes adicionando proteções extras às plataformas de agentes — por exemplo, “tivemos que adicionar [uma] camada de segurança na parte superior… [e] usar cache (Redis) para otimização de custos” ao implantar um agente de geração de leads. As soluções prontas para uso geralmente carecem de controles de segurança ou gerenciamento de custos de nível empresarial, e as empresas devem adotar sua própria governança. Além disso, garantir que os agentes cumpram os regulamentos (GDPR, HIPAA, etc.) e sigam as políticas organizacionais é difícil se as estruturas dos agentes não fornecerem ganchos para supervisão.

Estas preocupações tornam as partes interessadas cautelosas:querem que os agentes de IA sejam poderosos, mas transparentes e controlados “com protocolos neutros e universalmente aceites, em vez de sistemas proprietários” que escondem a forma como os dados são utilizados. Em suma, sem recursos robustos de governança (registros de auditoria, controles de permissão, substituição humana, etc.), muitas organizações se deparam com um obstáculo na implantação mais ampla de agentes.

5. Dificuldades de implantação e escalonamento

Mover um agente de IA da prova de conceito para a produção pode apresentar uma série de problemas. Os usuários relatam que o que funciona em uma demonstração controlada geralmente enfrenta dificuldades com a escala, o volume e a complexidade do mundo real. Preocupações comuns incluem latência e rendimento (agentes com tecnologia LLM podem ser muito lentos para aplicativos de alto tráfego ou em tempo real) e a sobrecarga operacional de execução confiável do sistema. Como disse Adrian Krebs, cofundador e CEO da Kadoa:“Não importa se você está usando [uma] estrutura de orquestração se o problema subjacente é que os agentes de IA [são] muito lentos, muito caros e muito pouco confiáveis”. Muitas vezes, as equipes precisam reestruturar para obter eficiência — usando cache, troca de modelos ou simplificação da lógica do agente — apenas para atender aos requisitos de desempenho.

Há também o desafio de implantar em vários ambientes (nuvem, local, dispositivos de borda) e, ao mesmo tempo, manter a consistência. Em ambientes empresariais, nem todos os departamentos desejarão usar as mesmas ferramentas, o que dificulta a implantação padronizada. Questões de escalabilidade operacional, como monitoramento, registro e atualização de agentes em campo, também são subdesenvolvidas. Um usuário do Reddit observou que mesmo a depuração básica pode ser “um pesadelo… os logs de erros costumam ser enigmáticos, sem um guia claro para solução de problemas”. Isso só fica mais difícil quando muitos agentes são implantados. Tudo isso pode retardar a adoção dos agentes. Até mesmo os principais fornecedores admitiram que os clientes estão “apenas começando” e que resultados significativos em escala ainda estão surgindo.

6. Complexidades de orquestração multiagente

Construir sistemas onde vários agentes de IA colaboram é complicado. Os desenvolvedores lutam para coordenar as funções dos agentes, gerenciar o estado compartilhado e evitar que os agentes fiquem presos em loops ou entrem em conflito entre si. Mesmo com estruturas de orquestração, um passo em falso na saída de um agente pode inviabilizar todo um fluxo de trabalho. Como afirmou um desenvolvedor:"As pessoas estão apenas experimentando. A falta de confiabilidade ainda é um grande problema:qualquer descarrilamento no processo de geração auto-regressiva pode ser fatal para um agente". Outros enfatizam a dificuldade de criar fluxos de trabalho resilientes ou de autocorreção — por exemplo, adicionar lógica para repetir etapas com falha ou intervenção humana.

Esses desafios de orquestração fazem com que as equipes muitas vezes acabem resolvendo um problema apenas para que outros apareçam:"Às vezes parece até mesmo como se fosse um golpe em uma toupeira. Resolva um problema com alguma engenharia imediata e depois crie mais três."

7. Desafios de compatibilidade e integração de modelos

Nenhum agente de IA é dominante no mercado. As organizações podem usar OpenAI um dia, mudar para um modelo de código aberto no dia seguinte e integrar várias ferramentas de terceiros. Mas a compatibilidade e a integração harmoniosa são um grande desafio. A integração de ferramentas e modelos geralmente requer adaptadores personalizados ou código cola. Por exemplo, conectar um agente a um banco de dados proprietário ou a uma API interna pode envolver um esforço significativo se a estrutura não tiver sido projetada com isso em mente. Os desenvolvedores argumentam que muitas estruturas são “pesadas” e vêm com suposições que não se enquadram em todos os casos de uso:“Infelizmente, muitas dessas estruturas são bastante pesadas se você precisar apenas do básico”.

Por outro lado, tornar-se “agnóstico em termos de estrutura” geralmente significa escrever muitos clichês do zero. Os usuários querem evitar reinventar a roda sem ficarem presos. Um desenvolvedor descreveu a escolha de uma biblioteca mais flexível especificamente para maximizar a compatibilidade:“Eu tentei muito… Eventualmente, decidi usar [Instrutor], porque eu poderia alternar rapidamente entre LLMs – tanto local/SO quanto proprietário – e poderia ter a mesma entrada/saída estruturada em todos os lugares.” Isto destaca a necessidade de agentes que permitam a troca fácil de modelos ou serviços de IA para atender às necessidades em evolução.

Outra necessidade comum é a integração de agentes com pilhas de software e fluxos de trabalho existentes. A falta de interfaces padrão significa que cada novo agente pode exigir um novo esforço de integração. Conforme observado, a falta de exemplos e a configuração avançada podem dificultar isso. Além disso, surgem problemas de compatibilidade quando uma atualização de um componente (por exemplo, uma alteração na API do LLM) quebra a lógica do agente – algo que as equipes precisam gerenciar ativamente. Resumindo, os profissionais desejam interoperabilidade plug-and-play:agentes de IA que se conectam a vários modelos, fontes de dados e sistemas sem extensa engenharia personalizada.

8. Problemas de dependência de fornecedor e interoperabilidade

Os modelos e estruturas de IA estão mudando rapidamente. Muitas equipes desejam o que há de melhor e temem que a escolha de uma solução de agente de IA de um único fornecedor possa torná-las inflexíveis no futuro. Há uma explosão de estruturas de agentes, cada uma com suas próprias APIs e considerações. Um desenvolvedor comparou isso à mania dos frameworks JavaScript:“Em alguns meses provavelmente teremos nossa versão do ‘aplicativo TODO em 100 frameworks JS web diferentes’… Até mesmo entender todos eles é uma tarefa enorme.”

Comprometer-se com um ecossistema pode significar flexibilidade limitada. Certas bibliotecas favorecem fornecedores específicos. Por exemplo, um usuário frustrado alertou que sua escolha de estrutura “principalmente quebra”, destacando como algumas ferramentas prendem você implicitamente a modelos ou serviços específicos. O risco é construir-se em torno da visão de um fornecedor e, mais tarde, encontrar-se “preso – dependente de suas atualizações, preços e políticas, sem nenhuma alternativa viável”. A interoperabilidade também é uma preocupação para a integração de agentes nas pilhas de software existentes. Os desenvolvedores muitas vezes não encontram “nenhum exemplo claro” para conectar os agentes às linguagens e serviços em nuvem que eles já usam, dificultando a adoção dessas ferramentas em diversas equipes.

Oportunidades com orquestração de agentes

Muitos desses desafios apontam para a necessidade de soluções de orquestração de agentes que sejam flexíveis, interoperáveis e centradas no ser humano. A orquestração agente gerencia, atribui tarefas e responsabilidades com eficácia entre pessoas, robôs e agentes de IA, dependendo de suas capacidades, garantindo que as operações sejam tranquilas, eficientes e alinhadas com os resultados estratégicos do negócio.

Uma camada de orquestração que integra efetivamente agentes de IA confiáveis, automação determinística e contribuições humanas oferece diversas vantagens:

• 
  Maior confiabilidade por meio de backstops determinísticos:o estado final ideal da abordagem orquestrada é a agência controlada, que permite eficiência ideal sem intervenção manual excessiva. Isto depende da orquestração de agentes especializados de IA que são cuidadosamente limitados nos processos por ferramentas de nível empresarial, robôs determinísticos e um nível confortável de revisão humana. Ao combinar agentes de IA com scripts ou regras de automação determinísticas, uma camada de orquestração garante que sempre haja um caminho alternativo. Por exemplo, se a saída de um agente de IA não atingir um determinado limite de precisão, uma regra predefinida poderá tratar desse caso (ou pelo menos sinalizá-lo). Esta abordagem híbrida aproveita a criatividade da IA, mas dentro das barreiras. Com o tempo, uma plataforma de orquestração pode até aprender qual agente é mais confiável para qual tarefa (através do monitoramento dos resultados) e encaminhar as tarefas de acordo, otimizando assim as taxas de sucesso. O efeito líquido é uma maior confiabilidade geral do fluxo de trabalho em comparação com um único agente de caixa preta. Como observou um desenvolvedor, “[agentes] fortemente restritos com supervisão humana” e processos bem definidos podem produzir bons resultados confiáveis ​​– exatamente o que a orquestração permite.
  
• 
  Integração humana no circuito:um dos principais benefícios de uma camada de orquestração bem projetada é a facilidade de integração de pontos de verificação humanos. Por exemplo, a camada de orquestração pode ser configurada para pausar e solicitar aprovação humana se a confiança de um agente for baixa ou se sua decisão tiver riscos elevados. Isto fornece a “rede de segurança” necessária para implantar agentes em fluxos de trabalho críticos. Em vez de codificar a supervisão humana separadamente para cada agente, a plataforma comum pode oferecer uma interface consistente para escalonamento para humanos e até mesmo aprender com as correções humanas ao longo do tempo. Esse alinhamento de fluxos de trabalho de IA + humanos ajuda a aproveitar a velocidade da IA ​​quando apropriado, mas sempre com um apoio humano para garantir confiabilidade e confiança.
  
• 
  Governança e segurança centralizadas:uma camada de orquestração independente de fornecedor pode impor segurança e conformidade de maneira uniforme em todas as atividades de IA. Ele pode servir como um gateway que monitora quais dados são enviados para cada agente, limpa ou anonimiza informações confidenciais e registra todas as decisões do agente para fins de auditoria. Isto aborda as preocupações de governança, dando às organizações um único ponto de controle:por exemplo, os administradores podem configurar quais modelos de IA têm permissão para lidar com determinados dados ou exigir que determinadas consultas sejam sempre tratadas por um modelo local devido às políticas de privacidade. Tal sistema também poderia ser integrado ao gerenciamento de identidade e acesso (IAM) para controle baseado em funções sobre as ações do agente. As políticas (como limites de taxas ou orçamentos de custos) poderiam ser aplicadas globalmente. Todos esses recursos significam que as empresas podem adotar agentes de IA com mais confiança, sabendo que há uma camada de supervisão para evitar vazamentos indesejados de dados ou comportamentos desonestos.
  
• 
  Interoperabilidade e evitar aprisionamento:uma camada de orquestração neutra permite que as equipes conectem diferentes modelos ou serviços de IA conforme necessário, sem estarem vinculadas ao ecossistema de um fornecedor. Isso atenua o medo de ter que reconstruir tudo caso você troque de provedor. Como defendeu um engenheiro, o objetivo é que os utilizadores finais “não tenham de se preocupar com o aprisionamento do fornecedor… garantindo que os sistemas de IA funcionam perfeitamente em todas as plataformas, em vez de prender os utilizadores dentro do ecossistema de um único fornecedor”. Ao falar uma “linguagem comum” para vários back-ends de IA (OpenAI, Anthropic, modelos de código aberto, etc.), uma camada de orquestração garante que você sempre possa escolher a melhor ferramenta para o trabalho e dinamizar quando a tecnologia ou os preços mudarem.
  
• 
  Coordenação e especialização multiagentes:uma plataforma de orquestração pode gerenciar uma equipe de agentes, cada um especializado em uma subtarefa, e coordenar suas interações de forma determinística. Isso reduz a complexidade para o profissional:a camada de orquestração pode lidar com roteamento de tarefas, gerenciamento de estado e recuperação de erros entre agentes. Em vez de um agente monolítico tentar tudo (e muitas vezes falhar de forma imprevisível), você pode ter agentes mais simples focados em funções específicas, com a camada de orquestração ligando-os. Essa configuração também pode incluir automação baseada em regras ou componentes de software tradicionais para tarefas que não exigem IA, garantindo que a IA seja usada apenas onde agrega valor. O resultado é um sistema mais robusto onde, se um componente falhar ou produzir resultados incertos, a plataforma de orquestração poderá capturá-lo (por exemplo, por meio de validações, novas tentativas ou substitutos).
  
• 
  Otimização de custos e flexibilidade de recursos:uma plataforma independente de fornecedor pode escolher dinamicamente entre diferentes modelos ou rotas para minimizar custos e, ao mesmo tempo, atender às necessidades de desempenho. Por exemplo, pode usar um modelo local mais barato para consultas simples e chamar uma API mais cara apenas para casos complexos – de forma transparente para o usuário final. Ele também pode solicitar solicitações em lote, armazenar resultados em cache ou ajustar a frequência de execuções do agente. Uma equipe relatou fazer isso manualmente (adicionando cache e usando um modelo mais barato para determinadas tarefas); uma plataforma de orquestração inteligente poderia lidar com essas otimizações automaticamente. Além disso, por não estarem vinculadas a um fornecedor, as organizações podem tirar vantagem da concorrência de preços – mudando para um serviço mais rentável se houver aumento de preços. Esta flexibilidade melhora o ROI, pois a orquestração garante que você use os recursos da maneira mais eficiente (o modelo “melhor e mais barato” para cada trabalho, conforme o desejo dos usuários).
  

Leia "O Guia Definitivo para Orquestração Agentetica".

Em resumo, uma camada de orquestração de agentes comprovada e confiável aborda diretamente muitos pontos problemáticos:

• 
  Oferece agência controlada, melhorando a confiabilidade do agente sem comprometer a autonomia ou a utilidade
  
• 
  Combina IA com humanos e robôs para obter melhores resultados
  
• 
  Abstrai a complexidade multiagente em uma estrutura gerenciável
  
• 
  Evita limitações de fornecedor único
  
• 
  Fornece a governança necessária para implantação em escala empresarial
  

Ao aprender com as dificuldades do mundo real – problemas de repetibilidade, dores de cabeça de integração, receios de segurança, custos excessivos – tal solução pode capacitar os profissionais a aproveitar os agentes de IA com muito menos atrito e risco. O resultado é um ecossistema de agentes de IA mais confiável, adaptável e alinhado às necessidades dos negócios, permitindo que as equipes se concentrem na resolução de problemas em vez de combater a infraestrutura.

A seguir: