Desbloqueando Insights Acionáveis na Borda com IA e ML

Se os dados começam na Borda, por que não podemos fazer o máximo possível ali mesmo do ponto de vista de IA?

O crescimento explosivo em dispositivos e aplicações de Borda requer novo pensamento sobre onde e como os dados são analisados, e insights são derivados. Novas opções de computação de Borda, acopladas com requisitos mais exigentes de velocidade para insights em muitos casos de uso, estão impulsionando o uso de inteligência artificial (IA) e machine learning (ML) em aplicações de Borda.

Onde IA e ML são aplicados (na Borda ou em um data center ou instalação de nuvem) é uma questão complexa. Para obter alguns insights sobre estratégias atuais e melhores práticas, conversamos recentemente com Said Tabet, Arquiteto Chefe, IA/ML e Borda; e Calvin Smith, CTO, Soluções de Tecnologia Emergente; ambos no Escritório do CTO Global da Dell Technologies.

Discutimos a crescente necessidade de IA e ML para dar sentido à grande quantidade de dados de Borda gerados hoje, os requisitos de computação para IA/ML em aplicações de Borda, e se tais computações devem ser feitas na Borda ou em um data center ou instalação de nuvem.

Tendências Emergentes

RTInsights: Quais são as tendências emergentes de hoje, e como IA e ML se encaixam na discussão da Borda?

Tabet: Hoje, quando as pessoas falam sobre tendências emergentes, elas frequentemente mencionam muitas coisas como Borda, IoT, IA/ML, realidade aumentada, realidade virtual, blockchain e 5G. Posicionamos a Borda como a próxima coisa em termos de onde estamos indo com essas tecnologias — não apenas tendências, mas adoção real. Acho que do ponto de vista dos dados e da experiência do usuário, há uma necessidade de insight e, graças à nossa impaciência como seres humanos, acoplada com questões de latência do mundo real, obter esse insight o mais rápido possível. Também, a ideia de que se os dados começam na Borda, por que não podemos fazer o máximo possível ali mesmo do ponto de vista de IA?

Obviamente, IA, e particularmente ML, é gananciosa em termos da quantidade de dados que precisa. Ela precisa aprender rapidamente. O que é que realmente podemos fazer na Borda? Acho que é onde esta discussão começa. Blockchain ou ledgers distribuídos são outras áreas de consideração aqui. Tipicamente, você vai ver uma necessidade de uma grande dose de confiança, particularmente de um ponto de vista de dados. Também precisa haver confiança nos insights que estamos gerando, como reagimos, e os itens acionáveis que vêm desses achados. Isso traz alguma necessidade adicional da perspectiva geral de segurança, privacidade e governança. Você precisa levar tudo isso em conta dentro daquela experiência, seja você uma pessoa de negócios, ou um indivíduo, ou uma frota de veículos.

Smith: Se tomarmos uma estimativa geral de haver, digamos, entre 20 e 30 bilhões de dispositivos IoT conectados hoje. Voltando, Said, acho que foi em 2014 ou mais ou menos que o número de dispositivos móveis conectados ultrapassou o número de pessoas no mundo, certo? Então em 2017, dispositivos IoT ultrapassaram a população humana global também.

Tabet: Sim. Isso está certo.

Smith: Foi um grande salto, e vai continuar saltando. Você vai contratar 27 bilhões de pessoas para sair e manter esses dispositivos de Borda? Então, subindo pela pilha da infraestrutura, obviamente, não é um mapeamento 1:1, mas é fisicamente impossível contratar administradores de banco de dados, cientistas de dados, arquitetos e engenheiros suficientes. Em vez disso, tudo se trata de impulsionar automação e otimização na Borda. Apenas o volume absoluto de dados, e, como o Dr. Tabet mencionou, a ganância de aplicações e funções, especificamente em IA. Você precisa ser capaz de processar uma grande quantidade de informação por múltiplas razões, uma sendo custo. Você quer analisar o que são dados realmente valiosos na Borda antes de começar a enviá-los para o data center ou nuvem.

O Papel da IA/ML com a Borda

RTInsights: Por que precisamos de IA/ML quando falamos de Borda?

Tabet: Existem várias razões. Primeiro, há o porquê. Do ponto de vista de automação, IA e ML são uma forma de automatizar mais e ser um pouco mais disciplinado sobre isso, e você faz isso na Borda. Você vê isso hoje. Precisa ser reforçado por esta visão de construir este continuum da nuvem para a Borda, incluindo o plano de dados, ou o plano de controle, e os kits de desenvolvimento, etc., que os desenvolvedores sintam que se estou escrevendo para a Borda, é o mesmo que a nuvem.

Do ponto de vista de IA, automação é uma grande coisa. Na Borda, você não vai fazer o processamento verdadeiramente profundo lá (ou seja, Deep Learning – DL), pelo menos não geralmente. O outro aspecto que acho que é realmente importante é o fato de que os insights que você vai obter muito rapidamente na Borda são frequentemente diferentes daqueles que você vai trazer para seus data centers ou para sua nuvem, conectando isso com outros tipos de informação. Nesse ponto, você está perdendo uma grande quantidade de impulso de inteligência, em termos dos insights que você está obtendo, ou a tomada de decisão que você vai fazer se estiver fazendo isso na Borda. Ainda assim, a Borda precisa de IA. Eles andam de mãos dadas.

Smith: Acho que a outra razão é de negócios. Todos esses "dispositivos, sensores, atuadores", eles podem ser tão grandes quanto uma casa conectada, ou um navio de cruzeiro conectado, ou um carro conectado. Ou podem estar em ou em uma fábrica, um trator, ou uma bomba. Resumindo, todas as indústrias agora estão sendo commoditizadas, certo? Há a opção de construir e comprar coisas ao redor do globo. As maneiras que as empresas estão tentando se diferenciar é através de serviços em associação com os produtos e ativos que vendem. Quanto mais você pode derivar valor, muitas empresas estão mudando de produto para serviço. É chamada de transformação produto-para-serviço.

Elas estão tentando vender seus ativos como serviços. Às vezes é até uma mudança no modelo de negócio e vai de CapEx para OpEx. Às vezes eles ainda vão vender apenas como CapEx, mas podem ser capazes de vender um conjunto adicional de serviços ou apenas usá-lo como diferencial quando seus produtos são inteligentes e conectados. Novamente, como Said mencionou, otimizando e automatizando e sendo capaz de puxar os dados certos no momento certo, e no lugar certo está permitindo que as empresas compitam. Simplesmente fabricar um item nem sempre deriva valor mais.

Tabet: Uma coisa mais que quero adicionar é que na Borda, se estivermos olhando para essas dezenas ou centenas de milhares de dispositivos de uma única empresa ou organização, seja em veículos autônomos, você está olhando para os carros como instâncias, cada um daqueles carros pode se comportar diferentemente sob diferentes ambientes. Aprender com isso é muito importante quando você traz tudo junto. É o mesmo em automação industrial. Você pode olhar para turbinas eólicas, motores em aviões, ou saúde. Em muitos desses diferentes ambientes, você tem um desempenho muito mais preciso, muito mais eficiente, melhor desses módulos de IA, ou algoritmos de IA quando você traz essa informação de volta para o data center ou a nuvem. Em outras palavras, embora definitivamente haja valor em dados de um ativo, você começa a obter insights verdadeiros de frotas conectadas de ativos e suas interações em diferentes ambientes.

Decidindo Onde a IA/ML de Borda Deve Ser Feita

RTInsights: Onde o trabalho de computação de IA/ML é feito para aplicações de Borda?

Tabet: Isso volta ao ponto anterior onde em muitos desses casos, os algoritmos de IA precisam de uma grande quantidade de dados para treinar. Você faz isso (e há desacordo) no data center ou na nuvem, em um ambiente centralizado onde você pode ter essas capacidades de computação de alta potência. Na Borda, você implantaria esses algoritmos, e eles podem ser muito mais eficientes para usar para propósitos de influência na Borda. Obviamente há conversa, onde em algum ponto, seremos capazes de fazer algum nível de treinamento na Borda também. Isso será limitado no início devido às pesadas restrições da maioria dos ambientes de Borda.

Considerações para Computação de Borda

RTInsights: Quais são os requisitos para soluções de computação na Borda?

Tabet: Bem, isso é muito complicado, porque existem diferentes definições do que é Borda. Você fala com um fabricante de carros, e eles dizem meu carro é a Borda. Quando você fala com um fabricante de turbinas, as turbinas eólicas são a Borda deles. Dispositivos de manufatura em uma fábrica são Borda também. Eles vão ter diferentes ambientes. Alguns deles serão muito hostis. Na Dell, tivemos muita experiência com computação em ambientes que podem incluir aquelas condições hostis com vibrações fortes e temperaturas extremamente altas ou extremamente baixas. A única coisa que eu diria é o requisito número um [para soluções de computação na Borda] é consumo de energia. Tem que ser baixo consumo. Isso vai contra tudo que sabemos, particularmente em HPC, certo? Você está usando muitas GPUs, tem calor, e precisa de energia. Isso não é possível nesses [ambientes de Borda]. Vamos ter que trazer isso [os componentes de computação] para outro fator de forma, ou possivelmente podemos até pensar em termos de diferentes tipos de aceleradores, como uma nova geração de tipos de aceleradores específicos de IA que estão surgindo nos próximos anos.

Smith: A coisa legal e interessante é que somos continuamente capazes de trabalhar de forma robusta para ambientes hostis e ser capazes de trabalhar em, digamos, menos cinco, às vezes 10 graus Celsius e então até 55+ graus Celsius. Como o Dr. Tabet mencionou, para ambientes perigosos ou hostis, você precisa ser capaz de prevenir problemas associados com vibração, choque e todo aquele tipo de coisa. No entanto, somos continuamente capazes de tornar os fatores de forma menores e menores. Claramente, fazemos isso com a ajuda de nossos parceiros e desenvolvedores de chips.

O que é interessante é essa noção de tornar os fatores de forma menores e mais robustos, e ao mesmo tempo, torná-los tão simples de operar e usar quanto possível. Do ponto de vista de aplicação, não é sobre a nuvem sendo executada na Borda, per se, embora isso também possa acontecer. É mais sobre princípios cloud-native sendo trazidos para a Borda. A simplicidade e facilidade com que você pode portar, sejam containers ou VMs [máquinas virtuais], para diferentes tipos de infraestrutura, e diferentes tipos de ambientes, e ter uma visão single-pane-of-glass. Isso então também potencialmente pode habilitar um ambiente multi-cloud. A Borda pode ser seu novo ponto de controle, seu novo painel de visibilidade no que está acontecendo que preenche a lacuna entre OT, ou tecnologia operacional, e o lado de TI. É fascinante. É uma nova fronteira para exploração, e está impulsionando uma grande quantidade dos roadmaps de produto para o futuro, eu diria.

Casos de Uso de IA/ML na Borda

RTInsights: Vocês podem dar alguns exemplos de aplicações de IA/ML na Borda?

Tabet: Um em que tenho trabalhado por alguns anos agora é sobre os desafios relacionados a aplicações de mobilidade [como veículos autônomos]. Trabalhando com várias organizações e com nossos clientes diretamente, estamos olhando como podemos trazer diferentes capacidades para este mercado. Vou abstrair um pouco e dar os exemplos também que poderiam facilitar esse tipo de implantação de Borda. Existem casos de uso para Borda no que chamamos de RSU, as unidades à beira da estrada, os próprios veículos, ou com o sensing que eles estão fazendo. Alguns desses exemplos são versões estendidas do que chamamos de mapas HD, mapas de alta definição, onde os mapas são semanticamente ricos, orientados por contexto, e são atualizados em tempo quase real.

Esse é um exemplo onde IA é usada para reduzir a quantidade e o custo dos dados que são transferidos. Você só lida com o que precisa para aqueles serviços específicos. Por exemplo, vídeos podem ser reduzidos. Você pode reduzir a quantidade de dados. Você pode focar em objetos muito específicos que você quer detectar. Esses são os tipos de exemplos naquele nível que podem ajudar.

Outros estão relacionados à saúde daqueles dispositivos de Borda, onde você está monitorando um dispositivo específico, um motor, um carro completo, etc., e você está tentando fazer o máximo de análise possível no nível do veículo ou dispositivo, particularmente por razões de segurança (ou seja, monitoramento baseado em condição em muitos casos de uso de IoT).

Existem outros exemplos no domínio de varejo também, onde você verá muito mais implantação de Borda, mas de uma forma diferente. No sentido de que você tem aquela conexão da Borda para a nuvem para o data center, na nuvem de Borda, como chamamos, onde você faz o máximo que pode na Borda. [A Borda é onde] você está coletando os dados e fazendo toda a análise que é necessária. Você está proporcionando uma experiência melhor para o usuário final, no caso de varejo, por exemplo. Você está tentando personalizar essa experiência para eles para que você possa minimizar o custo, mas também otimizar os serviços.

Agora, particularmente na situação em que estamos, existem muitos casos relacionados à saúde. Quantos dados podemos coletar e reagir a eles o mais rápido possível na Borda? Normalmente estamos falando de um ambiente distribuído na escala de centenas de milhares ou milhões de dispositivos, como Calvin estava dizendo. Esta é uma área onde IA e ML podem desempenhar um papel muito maior. Falamos sobre as mudanças de dados o tempo todo, e com as capacidades de IA, algumas dessas aplicações se adaptariam. O aprendizado continua, e o treinamento continua naquele nível.

Em todas estas áreas — saúde, varejo, veículos autônomos, mobilidade em geral, e muitas outras áreas — você está baixando o custo através de manutenção preditiva ou condicional. A Borda também dá a você a capacidade de fazer controle remoto de dispositivos, então se seus especialistas não podem ir com segurança ao lugar onde os dados estão sendo coletados, eles podem realmente fornecer essa capacidade remotamente, e até incluir coisas como AR ou VR. Mas você também faz a maior parte do trabalho antecipadamente na Borda, então você pode minimizar a presença deles, se necessário, pessoalmente. Esses são apenas alguns exemplos.

Smith: Eu adicionaria dois mais que são importantes. Um é que temos um grande negócio em e torno de segurança e proteção. Como Said mencionou, você pode estar rodando os algoritmos muito grandes, e processando os dados para coisas como... bem, deixe-me dar um exemplo. Imagine que você tem um cenário onde há um tiro em um lugar público, digamos que é fora de um posto de gasolina. Você precisa tomar muitas decisões automatizadas e imediatas para descobrir que curso de ação tomar. Uma coisa é, pense em reconhecimento de tiro de uma perspectiva de áudio, mas correlacione com reconhecimento de objeto de uma perspectiva de visão computacional para realmente mostrar que era uma arma, e não apenas um carro dando partida.

Então, se você tem um perpetrador que fez isso, você também pode ter o que agora são algoritmos bastante simplistas que podem ser executados na Borda, mas provavelmente se originaram no data center, para coisas como reconhecimento de placa de licença. Então, você pode identificar a placa do suspeito fugitivo. É tudo automatizado e executado na Borda. Há muitos casos de uso naquela área envolvendo câmeras, vigilância, segurança e segurança geral para cidadãos.

A outra grande área de caso de uso, que acho que seríamos negligentes em não mencionar, é Deep Learning para Instalações Inteligentes, que é um testbed do Industrial Internet Consortium que começamos há um bom tempo com a Toshiba. Desde seu início, também adicionamos SAS e Wipro, com diferentes empresas trazendo diferentes valores para a mesa.

A noção original era construir uma instalação enorme projetada como estado da arte. Se não estou enganado, acredito que foi construída em 2011, e já tinha, quantos sensores, Said? Tipo 20.000 sensores ou algo assim?

Tabet: Mais que isso, eu diria. Provavelmente 35.000 quando foi construída em 2011.

Smith: 35.000, certo. Era uma instalação nova, estado da arte, mas os designers queriam empurrar o envelope e aprender e fazer mais. Uma rede neural foi implementada através de uma série de servidores que se conectavam a um servidor de parâmetros, deixando o edifício essencialmente auto-aprender em associação com seus sistemas críticos. Estamos falando de coisas como elevadores, escadas rolantes, e claro, coisas de alto custo como sistemas HVAC. A ideia era fazer, pelo menos inicialmente, detecção de anomalias e procurar correlações entre coisas que uma pessoa (sem IA) teria dificuldade em encontrar.

Por exemplo, houve algumas descobertas muito fascinantes sobre coisas acontecendo na cozinha. Dados determinaram que aquelas ocorrências realmente aumentavam custos, e por causa daquelas ações, seções específicas de ventilação estavam sendo fechadas. É incrível o que você pode começar a encontrar quando são os dados em vez de humanos investigando coisas. Estamos falando de uma verdadeira rede neural profunda onde é auto-aprendizado — ensinando a si mesmo o que encontrar, procurando correlações cruzadas que humanos normalmente não determinariam por conta própria. Quando você realmente pensa sobre isso, tudo isso estava na "Borda". Tudo isso está sendo executado dentro do prédio. Então, algum do processamento central, claro, estava de volta no data center.

Tabet: Em um caso de uso mais recente para um projeto, adicionamos um número de dispositivos, similares a todos esses ativos que lidam com HVAC e outras coisas dentro do prédio. Cada um deles foi equipado com seus próprios algoritmos de machine learning ou algoritmos de IA em alguns casos, e isso permitiu que eles fossem auto-sustentáveis, mas ao mesmo tempo, aprendessem uns com os outros. De volta à história de Calvin, isso é feito de uma forma que vamos ver cada vez mais desse tipo de IA autônoma, se eu puder usar esse termo. Realmente, a ideia de que não a alimentamos com direção, mas com o tempo ela se auto-nivela e auto-aprende em termos de seus parâmetros e a otimização da produtividade que é necessária.