Superando Desafios de ETL de Dados IoT para Aumentar ROI

Organizações podem otimizar dados IoT, derivando seu valor de negócio rápida e custo-efetivamente desenvolvendo expertise em tecnologias ETL (extrair, transferir, carregar).

O potencial de IoT nunca foi maior. Com investimentos em dispositivos habilitados para IoT esperando dobrar até 2021 e oportunidades surgindo nos segmentos de dados e análises, a tarefa principal é superar os desafios e domar os custos ao redor de projetos de dados IoT.

Organizações podem otimizar dados IoT, derivando seu valor de negócio rápida e custo-efetivamente desenvolvendo expertise em tecnologias ETL (extrair, transferir, carregar), como processamento de stream e data lakes.

Veja também: 4 Princípios para Habilitar um Data Lake Imaculado

Em muitas organizações, porém, isso pode levar a gargalos de TI, longos atrasos de projeto, e ciência de dados sendo adiada. Resultado: projetos IoT — nos quais dados de análises preditivas deveriam desempenhar um papel crítico em melhorar eficiência operacional e estimular inovação — ainda não cruzaram o limiar de prova de conceito e definitivamente não podem demonstrar ROI.

Entenda os Desafios de ETL que IoT Enfrenta

O diagrama a seguir ajudará você a entender o problema melhor:

A fonte de dados está à esquerda — dispositivos incontáveis cheios de sensores, de antenas simples a veículos autônomos complicados que geram dados IoT e os enviam como um stream ininterrupto de dados semi-estruturados pela web.

À direita estão os objetivos que o consumo de tais dados deve alcançar, com os produtos analíticos resultantes na conclusão do projeto, incluindo:

• Business intelligence para ganhar visibilidade em tendências e padrões de uso de produto
• Monitoramento operacional para ver interrupções e dispositivos inativos em tempo real
• Detecção de anomalias para obter alertas proativos em picos ou quedas precipitadas nos dados
• Analytics embutidos para permitir que clientes vejam e entendam seus próprios dados de uso
• Ciência de dados para desfrutar dos benefícios de análises avançadas e machine learning em manutenção preditiva, otimização de rota ou desenvolvimento de IA

Para atingir estes objetivos, você precisa primeiro transformar dados de seu modo de streaming bruto em tabelas prontas para análise que podem ser consultadas com SQL e outras ferramentas de análise.

O processo ETL é frequentemente o segmento mais difícil de entender de qualquer projeto de análise porque dados IoT contêm um conjunto único de qualidades que nem sempre estão em sincronia com os bancos de dados relacionais, ETL e ferramentas de BI usuais. Por exemplo:

• Dados IoT são dados de streaming, gerados continuamente em arquivos pequenos que se acumulam para se tornar datasets massivos e extensos. Estes são muito distintos de dados tabulares tradicionais e requerem ETL mais complexo para realizar joins, agregações e enriquecimento de dados.
• Dados IoT têm que ser armazenados agora, analisados depois. Diferente de datasets típicos, o volume puro de dados criados por dispositivos IoT significa que tem que ter um lugar para sentar antes que possa ser analisado — um data lake na nuvem ou on-premise.
• Dados IoT apresentam eventos fora de ordem devido a múltiplos dispositivos que podem entrar e sair de áreas de conectividade Internet. Isso significa que logs podem alcançar servidores em vários tempos e nem sempre na ordem "correta".
• Dados IoT frequentemente requerem acesso de baixa latência. Operacionalmente, você pode ter que identificar anomalias ou dispositivos específicos em tempo real ou near-real-time, então você não pode arcar com as latências causadas por processamento em lote.

Você Deve Usar Frameworks Open-Source para Criar um Data Lake?

Para construir uma plataforma de dados empresarial para análises de dados, muitas organizações usam esta abordagem comum: criar um data lake usando frameworks open-source de processamento de stream como blocos de construção mais bancos de dados de séries temporais como Apache Spark/Hadoop, Apache Flink, InfluxDB e outros.

Este toolset pode fazer o trabalho? Claro, mas fazer corretamente pode ser esmagador para todas menos as empresas mais experientes em dados. Construir tal plataforma de dados demanda habilidades especializadas de engenheiros de big data e forte atenção à infraestrutura de dados — geralmente não um ponto forte em manufatura e eletrônicos de consumo, indústrias que trabalham de perto com dados IoT. Espere entregas atrasadas, custos íngremes e uma tonelada de horas de engenharia desperdiçadas.

Se sua organização quer alta performance mais uma gama completa de funcionalidades e casos de uso — relatórios operacionais, análises ad-hoc e preparação de dados para machine learning — então adote uma solução adequada. Um exemplo seria usar uma plataforma ETL de data lake purpose-built para converter streams em datasets prontos para análise.

A solução não é tão rígida e complexa quanto plataformas de dados Spark/Hadoop. É construída com uma interface de usuário de autoatendimento e SQL, não a codificação intensa em Java/Scala. Para analistas, cientistas de dados, gerentes de produto e provedores de dados em DevOps e engenharia de dados, pode ser uma ferramenta verdadeiramente amigável ao usuário que:

• Fornece autoatendimento para consumidores de dados sem precisar confiar em TI e engenharia de dados
• Otimiza fluxos ETL e armazenamento de big data para reduzir custos de infraestrutura
• Permite organizações, graças a serviço totalmente gerenciado, focar em funcionalidades em vez de infraestrutura
• Remove a necessidade de manter múltiplos sistemas para dados em tempo real, análises ad hoc e relatórios
• Garante que os dados nunca saiam da conta AWS do cliente para segurança total

Você pode se beneficiar de dados IoT — apenas precisa das ferramentas certas para torná-los úteis.