Processamento de Stream de Terceira Geração: Transformando Dados IoT em Ação em Tempo Real

Kelly Herrell, da Hazelcast

Na era pré-digital, equipes de TI alavancavam uma gama de ferramentas de gestão de dados — data warehouses, plataformas analíticas e vários sistemas de banco de dados — para capturar e preservar informação para análise futura.

Hoje, dados estão sendo gerados e transmitidos por dispositivos IoT a uma taxa sem precedentes. As "Coisas" na IoT — sensores, apps móveis, veículos conectados — criam volume explosivo de informação. Adicione o efeito de rede, onde valor escala com número de usuários conectados, e fica claro por que a IDC projeta o mercado IoT a atingir US$ 745 bilhões (€665 bilhões) no próximo ano e superar US$ 1 trilhão (€0,89 trilhão) até 2022.

Neste megatrend, a ênfase tradicional em dados históricos está dando lugar ao valor temporal de dados em streaming. No paradigma de streaming, valor está diretamente ligado à imediatidade por duas razões:

• Diferença: Como moléculas de água passando por uma mangueira, cada snapshot de dados fluindo pela rede é único.
• Perecibilidade: A oportunidade de agir sobre insights frequentemente evapora pouco após dados serem gerados.

Esses conceitos significam que mudanças repentinas detectadas em streams exigem ação instantânea — seja um alerta de reconhecimento facial em tempo real ou sensor de sonda de perfuração detectando vibrações anormais que poderiam levar a falha catastrófica se não endereçadas imediatamente.

No mundo acelerado de hoje, IoT e dados de streaming aceleram o ritmo de mudança, remodelando como processamos informação. O próprio processamento de stream está evoluindo rapidamente.

Duas Gerações, Mesmos Problemas

A primeira geração de processamento de stream dependia fortemente de processamento batch dentro de arquiteturas complexas baseadas em Hadoop. Dados seriam coletados, armazenados, e só após atraso seriam transmitidos ao engine de processamento. A combinação de complexidade e latência tornou essa abordagem amplamente inadequada.

A segunda geração introduziu micro-batches, reduzindo tamanhos de batch para reduzir tempo de processamento. No entanto, a complexidade subjacente permaneceu, e o atraso na configuração de cada micro-batch ainda significava que mudanças eram identificadas apenas após se tornarem históricas.

Processamento de Stream de Terceira Geração

O desafio para organizações de TI é claro: como ingerir e processar dados de streaming em tempo real, transformando dados brutos em insight acionável "agora" sem o overhead de sistemas batch-oriented? A resposta está em software que é leve, não batch-centric, e pequeno o suficiente para rodar próximo a — ou até incorporado na — fonte de dados.

Engines de primeira e segunda geração requerem múltiplos componentes, resultando em footprint grande demais para a maioria de ambientes edge e IoT. Um engine leve pode ser implantado direto na fonte, eliminando necessidade de enviar todo o stream pela rede para processamento. Essa proximidade reduz drasticamente latência e aborda o desafio da perecibilidade.

Processamento de stream de terceira geração pode lidar com dados brutos ao vivo em escala, entregando insights instantaneamente e permitindo ações que capitalizam o valor fugaz de informação em tempo real.

Streaming na Prática

Uma sonda de perfuração é símbolo quintessencial do setor de energia, mas seus custos operacionais são altos e qualquer downtime pode impactar severamente o bottom line. Insights preventivos podem reduzir perdas dramaticamente.

SigmaStream especializa-se em streams de dados de alta frequência gerados durante perfuração. Suas sondas são equipadas com dezenas de sensores que capturam vibrações minuciosas. O volume pode atingir 60 a 70 canais de alta frequência entrando no sistema de processamento de stream.

Processando esses dados em tempo real, a SigmaStream permite que operadores ajam instantaneamente — ajustando parâmetros de perfuração na hora — para prevenir falhas e downtime. Acoplado a engine de streaming de terceira geração e ferramentas de analytics certas, operadores podem monitorar vibrações quase imperceptíveis. Resultado: clientes economizaram milhões de dólares e reduziram tempo no local em até 20%.

Na era digital, latência é o novo downtime. Processamento de stream é o próximo passo lógico para organizações que precisam ingerir informação mais rápido, permitir ações mais rápidas e atender demanda crescente por dados em tempo real. Ao mainstreaming do processamento de stream, empresas podem prosperar em mundo dominado por aplicações de ultra-alto desempenho e entregar informação sensível a tempo que atende expectativas crescentes.

O autor é Kelly Herrell, CEO da Hazelcast