Usando IA e ML para extrair insights acionáveis ​​em aplicativos de borda

Se os dados começam no Edge, por que não podemos fazer o máximo possível do ponto de vista da IA?

O crescimento explosivo de dispositivos e aplicativos Edge exige uma nova forma de pensar sobre onde e como os dados são analisados ​​e os insights são derivados. Novas opções de computação de borda, juntamente com requisitos de velocidade de percepção mais exigentes em muitos casos de uso, estão impulsionando o uso de inteligência artificial (IA) e aprendizado de máquina (ML) em aplicativos de borda.

Onde AI e ML são aplicados (no Edge ou em um data center ou instalação de nuvem) é um assunto complexo. Para obter alguns insights sobre as estratégias e melhores práticas atuais, conversamos recentemente com Said Tabet, arquiteto-chefe, AI/ML &Edge; e Calvin Smith, CTO, Soluções de Tecnologia Emergente; ambos no escritório do CTO global da Dell Technologies.

Discutimos a crescente necessidade de IA e ML para dar sentido à grande quantidade de dados Edge que são gerados hoje, os requisitos de computação para IA/ML em aplicativos Edge e se esses cálculos devem ser feitos no Edge ou em um data center ou instalação de nuvem.

Tendências emergentes

RTInsights: Quais são as tendências emergentes de hoje e como IA e ML se encaixam na Edgediscussion?

Tabeto: Hoje, quando as pessoas falam sobre tendências emergentes, muitas vezes mencionam muitas coisas como Edge, IoT, AI/ML, realidade aumentada, realidade virtual, blockchain e 5G. Posicionamos o Edge como a próxima coisa em termos de onde estamos indo com essas tecnologias - não apenas tendências, mas verdadeira adoção. Acho que da perspectiva dos dados e da experiência do usuário, há uma necessidade de insight e, graças à nossa impaciência como seres humanos, juntamente com problemas de latência do mundo real, obter esse insight o mais rápido possível. Além disso, a ideia de que, se os dados começam no Edge, por que não podemos fazer o máximo possível do ponto de vista da IA?

Obviamente, a IA, e particularmente o ML, é gananciosa em termos da quantidade de dados de que precisa. Ele precisa aprender rapidamente. O que podemos realmente fazer no Edge? Acho que é aí que essa discussão começa. Blockchain ou livros distribuídos são outras áreas de consideração aqui. Normalmente, você verá a necessidade de muita confiança, principalmente do ponto de vista dos dados. Também é preciso confiar nos insights que estamos gerando, em como reagimos e nos itens acionáveis ​​que surgem dessas descobertas. Isso traz algumas necessidades adicionais da perspectiva geral de segurança, privacidade e governança. Você precisa levar tudo isso em consideração nessa experiência, seja você um empresário, um indivíduo ou uma frota de veículos.

Smith: Se fizermos uma estimativa geral da existência, digamos entre 20 e 30 bilhões de dispositivos IoT conectados hoje. Voltando, Said, acho que foi em 2014 mais ou menos que o número de dispositivos móveis conectados ultrapassou o número de pessoas no mundo, certo? Então, em 2017, os dispositivos IoT também ultrapassaram a população humana global.

Tabeto: Sim. Isso mesmo.

Smith: Foi um grande salto, e vai continuar pulando. Você vai contratar 27 bilhões de pessoas para sair e manter esses dispositivos Edge? Então, subindo pela pilha da infraestrutura, obviamente, não é um mapeamento 1:1, mas é fisicamente impossível contratar administradores de banco de dados, cientistas de dados, arquitetos e engenheiros suficientes. Em vez disso, trata-se de dirigir, automatizar e otimizar no Edge. Apenas o grande volume de dados e, como o Dr. Tabet mencionou, a ganância de aplicativos e funções, especificamente em IA. Você precisa ser capaz de processar uma grande quantidade de informações por vários motivos, sendo um deles o custo. Você deseja analisar quais são os dados realmente valiosos no Edge antes de começar a enviá-los para o data center ou a nuvem.

O papel da IA/ML com Edge

RTInsights: Por que precisamos de IA/ML quando falamos de Edge?

Tabeto: Existem várias razões. Primeiro, há o porquê. Do ponto de vista da automação, IA e ML são uma maneira de automatizar mais e ser um pouco mais disciplinado sobre isso, e você faz isso no Edge. Você vê isso hoje. Ele precisa ser reforçado por essa visão de construir esse continuum da nuvem para o Edge, incluindo o plano de dados ou o plano de controle e os kits de desenvolvimento, etc., que os desenvolvedores sintam que, se estou escrevendo para o Edge, é o mesmo que a nuvem.

Do ponto de vista da IA, a automação é uma grande coisa. No Edge, você não fará o processamento verdadeiramente profundo (ou seja, Deep Learning – DL), pelo menos não normalmente. O outro aspecto que acho realmente importante é o fato de que os insights que você obterá muito rapidamente no Edge geralmente serão diferentes daqueles que você levará para seus data centers ou para sua nuvem, conectando-os com outros tipos de informação. Nesse ponto, você está perdendo muito impulso de inteligência, em termos dos insights que está obtendo ou da tomada de decisão que fará se estiver fazendo isso no Edge. Ainda assim, o Edge precisa de IA. Eles andam de mãos dadas.

Smith: Eu acho que o outro motivo é um negócio. Todas essas “coisas, sensores, atuadores, dispositivos” podem ser tão grandes quanto uma casa conectada, um navio de cruzeiro conectado ou um carro conectado. Ou eles podem estar dentro ou em uma fábrica, um atrator ou uma bomba. Para encurtar a história, todas as indústrias agora estão sendo comoditizadas, certo? Há a opção de construir e comprar coisas em todo o mundo. As maneiras pelas quais as empresas estão tentando se diferenciar são por meio de serviços associados aos produtos e ativos que vendem. Quanto mais você obtém valor, muitas empresas estão mudando de um produto para um serviço. É chamada de transformação de produto para serviço.

Eles estão tentando vender seus ativos como serviços. Às vezes é até uma mudança no modelo de negócio e vai de CapEx para OpEx. Às vezes, eles ainda vão vender apenas como CapEx, mas podem vender um conjunto adicional de serviços ou apenas usá-lo como um diferencial quando seus produtos são inteligentes e conectados. Novamente, como Said mencionou, otimizar e automatizar e poder extraia os dados certos na hora certa, e o lugar certo é permitir que as empresas concorram. A simples fabricação de um item nem sempre deriva mais valor.

Tabeto: Mais uma coisa que quero acrescentar é que, no Edge, se estamos olhando para essas dezenas ou centenas de milhares de dispositivos de uma única empresa ou organização, seja em veículos autônomos, você está olhando para os carros como instâncias, cada uma esses carros podem se comportar de maneira diferente em ambientes diferentes. Aprender com isso é muito importante quando você reúne. É o mesmo na automação industrial. Você pode olhar para turbinas eólicas, motores em aviões ou cuidados de saúde. Em muitos desses diferentes ambientes, você tem um desempenho muito mais preciso, muito mais eficiente e melhor desses módulos de IA ou algoritmos de IA ao trazer essas informações de volta ao data center ou à nuvem. Em outras palavras, embora haja definitivamente valor nos dados de um ativo, você começa a obter insights verdadeiros de frotas de ativos conectados e suas interações em diferentes ambientes.

Decidindo onde o Edge AI/ML deve ser feito

RTInsights: Onde o trabalho de computação de IA/ML é feito para aplicativos Edge?

Tabela: Isso remonta ao ponto anterior em que, em muitos desses casos, os algoritmos de IA fizeram uma grande quantidade de dados para treinar. Você faz isso (e há divergências) no data center ou na nuvem, em um ambiente centralizado onde você pode ter esses recursos de computação de alta potência. No Edge, você implantaria esses algoritmos, e eles podem ser muito mais eficientes de usar para fins de influência no Edge. Obviamente, há rumores de que, em algum momento, também poderemos fazer algum nível de treinamento no Edge. Isso será limitado inicialmente devido às pesadas restrições da maioria dos ambientes Edge.

Considerações para computação de borda

RTInsights: Quais são os requisitos para soluções de computação no Edge?

Tabeto: Bem, isso é muito complicado, porque existem diferentes definições do que Edge é. Você fala com um fabricante de automóveis e eles dizem que meu carro é o Edge. Quando você fala com um fabricante de turbinas, as turbinas eólicas são a sua borda. Dispositivos de fabricação em uma fábrica também são Edge. Eles vão ter ambientes diferentes. Alguns deles serão muito duros. Na Dell, temos muita experiência com computação em ambientes que podem incluir condições adversas com fortes vibrações e temperaturas extremamente altas ou extremamente baixas. A única coisa que eu diria é o requisito número um [para soluções de computação no Edge] é o consumo de energia. Deve ser de baixa potência. Isso vai contra tudo o que sabemos, principalmente em HPC, certo? Você está usando muitas GPUs, tem calor e precisa de energia. Isso não é possível nesses ambientes [Edge]. Teremos que trazer isso [os componentes de computação] para outro fator de forma, ou possivelmente podemos até pensar em termos de diferentes tipos de aceleradores, como uma nova geração de IA específicos tipos de aceleradores que estão surgindo nos próximos anos.

Smith: O legal e interessante é que podemos trabalhar continuamente de maneira robusta para ambientes hostis e trabalhar em, digamos, cinco negativos, às vezes 10 graus Celsius e depois até mais de 55 graus Celsius. Como o Dr.Tabet mencionou, para ambientes perigosos ou agressivos, você precisa ser capaz de evitar problemas associados à vibração, choque e todo esse tipo de jazz. No entanto, somos continuamente capazes de tornar os fatores de forma cada vez menores. , fazemos isso com a ajuda de nossos parceiros e desenvolvedores de chips.

O interessante é essa noção de tornar os fatores de forma menores e mais robustos e, ao mesmo tempo, torná-los o mais simples de operar e usar possível. Do ponto de vista do aplicativo, não se trata da nuvem sendo executada no Edge, por si só, embora isso também possa acontecer. É mais sobre os princípios nativos da nuvem sendo trazidos para o Edge. A simplicidade e facilidade com que você pode portar, sejam eles contêineres ou VMs [máquinas virtuais], para diferentes tipos de infraestrutura e diferentes tipos de ambientes, e ter uma visão de painel único. Isso também pode potencialmente habilitar um ambiente multi-nuvem. O Edge pode ser seu novo ponto de controle, seu novo painel de visibilidade sobre o que está acontecendo que preenche a lacuna entre o OT, ou lado da tecnologia operacional, e o lado de TI. É fascinante. É uma nova fronteira para exploração e está direcionando grande parte dos roteiros de produtos para o futuro, eu diria.

Casos de uso de IA/ML de ponta

RTInsights: Você pode dar alguns exemplos de aplicativos de IA/ML Edge?

Tabeto: Um em que venho trabalhando há alguns anos é em torno dos desafios relacionados a aplicativos de mobilidade [como veículos autônomos]. Trabalhando com várias organizações e diretamente com nossos clientes, estamos analisando como podemos trazer diferentes capacidades para este mercado. Vou abstrair isso um pouco e dar a você também os exemplos que podem facilitar esse tipo de implantação do Edge. Existem casos de uso para o Edge no que chamamos de RSU, as unidades de beira de estrada, os próprios veículos ou com a sensação de que eles estão fazendo. Alguns desses exemplos são versões estendidas do que chamamos de mapas HD, mapas de alta definição, onde os mapas são semanticamente ricos, orientados ao contexto e atualizados quase em tempo real.

Esse é um exemplo em que a IA é usada para reduzir a quantidade e o custo dos dados transferidos. Você só lida com o que precisa para esses serviços específicos. Por exemplo, os vídeos podem ser reduzidos. Você pode reduzir a quantidade de dados. Você pode se concentrar em objetos muito específicos que deseja detectar. Esse é o tipo de exemplo nesse nível que pode ajudar.

Outros estão relacionados à saúde desses dispositivos Edge, onde você está monitorando um dispositivo específico, um motor, um carro cheio, etc. motivos (ou seja, monitoramento baseado em condição em muitos casos de uso de IoT).

Também existem outros exemplos no domínio do varejo, onde você verá muito mais implantação de Edge, mas de uma maneira diferente. No sentido de que você tem essa conexão do Edge com a nuvem para o data center, no Edge cloud, como chamamos, onde você faz o máximo que pode no Edge. [The Edge é onde] você está reunindo os dados e fazendo toda a análise necessária. Você está proporcionando uma experiência melhor ao usuário final, no caso do varejo, por exemplo. Você está tentando personalizar essa experiência para eles para minimizar o custo, mas também otimizar os serviços.

Neste momento, principalmente na situação em que estamos, há muitos casos relacionados à saúde. Quantos dados podemos coletar e reagir a eles o mais rápido possível no Edge? Normalmente estamos falando de um ambiente distribuído no escala de centenas de milhares ou milhões de dispositivos, como Calvin estava dizendo. Esta é uma área onde IA e ML podem desempenhar um papel muito maior. Falamos sobre as mudanças de dados o tempo todo e, com os recursos de IA, alguns desses aplicativos se adaptariam. O aprendizado continua e o treinamento continua nesse nível.

Em todas essas áreas – saúde, varejo, veículos autônomos, mobilidade em geral e muitas outras áreas – você está reduzindo o custo por meio de manutenção preditiva ou condicional. O Edge também oferece a capacidade de controlar dispositivos remotamente, portanto, se seus especialistas não puderem ir com segurança ao local onde os dados estão sendo coletados, eles poderão fornecer esse recurso remotamente e até incluir coisas como AR ou VR. Mas você também faz a maior parte do trabalho com antecedência no Edge, para que possa minimizar a presença deles, se necessário, pessoalmente. Esses são apenas alguns exemplos.

Smith: Eu acrescentaria mais dois do que são importantes. Uma é que temos um grande negócio em torno de segurança e proteção. Como Said mencionou, você pode estar executando algoritmos muito grandes e processando os dados para coisas como... bem, deixe-me dar um exemplo. Imagine que você tem um cenário em que há um tiro em um local público, digamos que seja do lado de fora de um posto de gasolina. Você precisa tomar muitas decisões automatizadas e imediatas para descobrir qual curso de ação tomar. Uma coisa é, pense no reconhecimento de tiros do ponto de vista de áudio, mas correlacione-o com o reconhecimento de objetos do ponto de vista da visão computacional para realmente mostrar que era uma arma , e não apenas um tiro pela culatra do carro.

Então, se você tiver um criminoso que fez isso, você também pode ter o que agora são algoritmos bastante simplistas que podem ser executados no Edge, mas provavelmente originados no data center, para coisas como reconhecimento de placas. Então, você pode identificar a placa do suspeito em fuga. É tudo automatizado e executado no Edge. Há muitos casos de uso nessa área envolvendo câmeras, vigilância, segurança e segurança geral para os cidadãos.

A outra área de grande uso, que acho que seria negligente não mencionar, é Deep Learning for Smart Facilities, que é um teste no Industrial Internet Consortium que começamos há algum tempo com a Toshiba. Desde a sua criação, também adicionamos SAS e Wipro, com diferentes empresas trazendo diferentes valores para a mesa.

A ideia original era construir uma enorme instalação projetada como o estado da arte. Se não me engano, acredito que foi construído em 2011, e já tinha, quantos sensores, disse? Tipo 20.000 sensores ou algo assim?

Tabela: Mais do que isso, eu diria. Provavelmente eram 35.000 quando foi construído em 2011.

Smith: 35.000, certo. Era uma instalação totalmente nova e de última geração, mas os designers queriam ir além, aprender e fazer mais. Uma rede neural foi implementada através de uma série de servidores que se conectaram a um servidor de parâmetros, permitindo que o edifício se auto-aprende essencialmente em associação com seus sistemas críticos. Estamos falando de coisas como elevadores e escadas rolantes e, claro, coisas de alto custo, como sistemas HVAC. A ideia era fazer, pelo menos inicialmente, detecção de anomalias e procurar correlações entre coisas que uma pessoa (sem IA) teria dificuldade em encontrar.

Por exemplo, houve algumas descobertas muito fascinantes sobre coisas acontecendo na cozinha. Os dados determinaram que esses acontecimentos realmente aumentaram os custos e, por causa dessas ações, seções específicas de ventilação estavam sendo fechadas. É incrível o que você pode começar a descobrir quando são os dados e não os humanos investigando as coisas. Estamos falando de uma verdadeira e profunda rede neural onde se aprende sozinho – ensinando a si mesmo o que encontrar, procurando por correlações cruzadas que os humanos normalmente não determinariam por conta própria. Quando você realmente pensa sobre isso, tudo isso estava no “Edge”. Tudo isso está sendo executado dentro do prédio. Então, parte do processamento central, é claro, estava de volta ao data center.

Tabeto: Em um caso de uso mais recente para um projeto, adicionamos vários dispositivos, semelhantes a todos esses ativos que lidam com HVAC e outras coisas dentro do prédio. Cada um deles foi equipado com seus próprios algoritmos de aprendizado de máquina ou algoritmos AI em alguns casos, e isso permitiu que eles fossem autossustentáveis, mas ao mesmo tempo aprendessem uns com os outros. De volta à história de Calvin, isso é feito de tal forma que veremos cada vez mais esse tipo de IA autônoma, se eu pudesse usar esse termo. Realmente, a ideia de que não a alimentamos de direção, mas com o tempo ela se auto-nivela e se autoaprende em termos de seus parâmetros e a otimização da produtividade que é necessária.