Conheça os desafios de ETL de dados de IoT e maximize o ROI

As organizações podem otimizar os dados de IoT, de forma rápida e econômica, derivando seu valor comercial, desenvolvendo experiência em tecnologias ETL (extrair, transferir, carregar).

O potencial da IoT nunca foi tão grande. Com a expectativa de que os investimentos em dispositivos habilitados para IoT dobrem até 2021 e as oportunidades surgindo nos segmentos de dados e análises, a principal tarefa é superar os desafios e controlar os custos envolvidos Projetos de dados de IoT.

As organizações podem otimizar os dados de IoT, derivando seu valor comercial de forma rápida e econômica, desenvolvendo experiência em tecnologias ETL (extrair, transferir, carregar), como processamento de fluxo e lagos de dados.

Veja também: 4 Princípios para habilitar um Data Lake Pristine

Em muitas organizações, no entanto, isso pode levar a gargalos de TI, longos atrasos em projetos e adiamento da ciência de dados. Resultado:projetos de IoT – nos quais os dados de análise preditiva devem desempenhar um papel crítico na melhoria da eficiência operacional e no estímulo à inovação – ainda não cruzou o limite de prova de conceito e definitivamente não pode demonstrar o ROI.

Entenda os desafios de ETL enfrentados pela IoT

O diagrama a seguir ajudará você a entender melhor o problema:

A fonte de dados está à esquerda – inúmeros dispositivos preenchidos com sensores, desde simples antenas até complicados veículos autônomos que geram dados de IoT e os enviam como um fluxo ininterrupto de dados semiestruturados pela web.

À direita estão os objetivos que o consumo desses dados deve atingir, com os produtos analíticos resultantes na conclusão do projeto, incluindo:

• Inteligência de negócios para obter visibilidade das tendências e padrões de uso do produto
• Monitoramento operacional para ver interrupções e dispositivos inativos em tempo real
• Detecção de anomalias para receber alertas proativos sobre picos ou quedas abruptas nos dados
• Análise incorporada para permitir que os clientes vejam e compreendam seus próprios dados de uso
• Ciência de dados para aproveitar os benefícios de análises avançadas e aprendizado de máquina em manutenção preditiva, otimização de rotas ou desenvolvimento de IA

Para atingir esses objetivos, você precisa primeiro transformar os dados de seu modo de streaming bruto em tabelas prontas para análise que podem ser consultadas com SQL e outras ferramentas de análise.

O processo de ETL costuma ser o segmento mais difícil de entender de qualquer projeto de análise porque os dados de IoT contêm um conjunto exclusivo de qualidades que nem sempre estão em sincronia com os bancos de dados relacionais usuais, ETL e ferramentas de BI. Por exemplo:

• Os dados de IoT estão transmitindo dados, gerados continuamente em pequenos arquivos que se acumulam para se tornarem conjuntos de dados enormes e extensos. Eles são muito diferentes dos dados tabulares tradicionais e exigem ETL mais complexos para realizar junções, agregações e enriquecimento de dados.
• Os dados de IoT precisam ser armazenados agora, analisados ​​posteriormente. Ao contrário de conjuntos de dados típicos, o grande volume de dados criados por dispositivos IoT significa que eles precisam ter um lugar para se sentar antes de serem analisados ​​– um data lake na nuvem ou no local.
• Os dados de IoT apresentam eventos não ordenados devido a vários dispositivos que podem entrar e sair das áreas de conectividade com a Internet. Isso significa que os logs podem chegar aos servidores em vários momentos e nem sempre na ordem "correta".
• Os dados de IoT geralmente exigem acesso de baixa latência. Operacionalmente, pode ser necessário identificar anomalias ou dispositivos específicos em tempo real ou quase real, para que você não possa arcar com as latências causadas pelo processamento em lote.

Você deve usar estruturas de código aberto para criar um Data Lake?

Para criar uma plataforma de dados corporativos para análise de dados, muitas organizações usam essa abordagem comum:criar um data lake usando estruturas de processamento de fluxo de código aberto como blocos de construção, além de bancos de dados de série temporal como Apache Spark/Hadoop, Apache Flink, InfluxDB e outros.

Este conjunto de ferramentas pode fazer o trabalho? Claro, mas fazê-lo corretamente pode ser esmagador para todas, exceto para as empresas mais experientes em dados. Construir essa plataforma de dados exige habilidades especializadas de engenheiros de bigdata e forte atenção à infraestrutura de dados – geralmente não é um ponto forte em manufatura e eletrônicos de consumo, indústrias que trabalham em estreita colaboração com dados de IoT. Espere entregas atrasadas, custos exorbitantes e uma tonelada de horas de engenharia desperdiçadas.

Se sua organização deseja alto desempenho, além de uma gama completa de funcionalidades e casos de uso – relatórios operacionais, análises ad-hoc e preparação de dados para aprendizado de máquina – adote uma solução adequada. Um exemplo seria usar uma plataforma ETL de data lake criada especificamente para converter fluxos em conjuntos de dados prontos para análise.

A solução não é tão rígida e complexa quanto as plataformas de dados Spark/Hadoop. Ele é construído com uma interface de usuário de autoatendimento e SQL, não a intensa codificação em Java/Scala. Para analistas, cientistas de dados, gerentes de produto e provedores de dados em DevOps e engenharia de dados, pode ser uma ferramenta realmente fácil de usar que:

• Fornece autoatendimento para consumidores de dados sem precisar depender de TI e engenharia de dados
• Otimiza fluxos de ETL e armazenamento de big data para reduzir custos de infraestrutura
• Permite que as organizações, graças ao serviço totalmente gerenciado, se concentrem nos recursos em vez da infraestrutura
• Remove a necessidade de manter vários sistemas para dados em tempo real, análises ad hoc e relatórios
• Assegura que os dados nunca saiam da conta AWS do cliente para total segurança

Você pode se beneficiar dos dados da IoT – basta usar as ferramentas certas para torná-lo útil.