O streaming de dados abre novas possibilidades na era IoT

Kelly Herrell de Hazelcast
Na era pré-digital, os departamentos de TI dominaram uma variedade de abordagens tecnológicas para extrair valor dos dados. Data warehouses, plataformas analíticas e diferentes tipos de bancos de dados encheram data centers, acessando dispositivos de armazenamento onde os registros foram preservados com segurança em disco para seu valor histórico.

Por outro lado, diz Kelly Herrell, CEO da Hazelcast , os dados hoje estão sendo gerados e transmitidos por dispositivos da Internet das Coisas (IoT) em uma taxa sem precedentes. As “coisas” na IoT são inúmeras - sensores, aplicativos móveis, veículos conectados, etc. - o que por si só é explosivo. Adicione a isso o "efeito de rede", em que o grau de valor está diretamente correlacionado ao número de usuários vinculados, e não é difícil ver por que empresas como a IDC projeta que o mercado de IoT atingirá US $ 745 bilhões (€ 665 bilhões) no próximo ano e ultrapassará a marca de US $ 1 trilhão (€ 0,89 trilhão) em 2022.

Essa megatendência está quebrando o paradigma de processamento de dados. O valor histórico dos dados armazenados está sendo substituído pelo valor temporal dos dados de streaming. No paradigma de streaming de dados, o valor é uma função direta do imediatismo, por dois motivos:

• Diferença :Assim como as moléculas de água exclusivas que passam por um comprimento de mangueira são diferentes em cada ponto no tempo, o mesmo ocorre com os dados exclusivos que fluem pela rede para cada janela de tempo.
• Perecibilidade :A oportunidade de agir de acordo com os insights encontrados nos dados de streaming muitas vezes se dissipa logo depois que os dados são gerados.

Os conceitos de diferença e perecibilidade aplicar a este paradigma de streaming de dados. Mudanças repentinas detectadas em fluxos de dados exigem ação imediata, seja um acerto de padrão no reconhecimento facial em tempo real ou sensores de vibração da plataforma de perfuração que repentinamente registram anormalidades que podem ser desastrosas se medidas preventivas não forem tomadas imediatamente.

Na era atual, sensível ao tempo, a IoT e os dados de streaming estão acelerando o ritmo de mudança neste novo paradigma de dados. O próprio processamento de fluxo está mudando rapidamente.

Duas gerações, mesmos problemas

A primeira geração de processamento de fluxo foi amplamente baseada no processamento em lote usando arquiteturas complexas baseadas em Hadoop. Depois que os dados foram carregados - o que ocorreu significativamente depois de serem gerados -, eles foram enviados como um fluxo através do mecanismo de processamento de dados. A combinação de complexidade e atraso tornou esse método amplamente insuficiente.

A segunda geração (ainda amplamente em uso) reduziu os tamanhos dos lotes para "microlotes". A complexidade da implementação não mudou e, embora lotes menores levem menos tempo, ainda há atraso na configuração do lote. A segunda geração pode identificar diferenças mas não aborda perecibilidade. Quando ele descobre uma mudança no fluxo, já é história.

Processamento de stream de terceira geração

As duas primeiras gerações destacam os obstáculos enfrentados pelas organizações de TI:Como o processamento de fluxo pode ser mais fácil de implementar enquanto processa os dados no momento em que são gerados? A resposta:o software deve ser simplificado, não ser orientado por lote e ser pequeno o suficiente para ser colocado extremamente próximo às fontes de fluxo.

As primeiras duas gerações de processamento de fluxo requerem a instalação e integração de vários componentes, o que resulta em uma pegada muito grande para a maioria das infraestruturas de borda e IoT. Uma pegada leve permite que o mecanismo de streaming seja instalado próximo a ou incorporado na origem dos dados. A proximidade remove a necessidade do fluxo de IoT atravessar a rede para processamento, resultando em latência reduzida e ajudando a resolver o desafio da perecibilidade.

O desafio para as organizações de TI é ingerir e processar fontes de dados de streaming em tempo real, refinando os dados em informações acionáveis ​​ agora . Atrasos no processamento em lote diminuem o valor dos dados de streaming. O processamento de stream de terceira geração pode superar os desafios de latência inerentes ao processamento em lote, trabalhando em dados brutos ao vivo imediatamente em qualquer escala.

Streaming na prática

Uma sonda de perfuração é um dos símbolos mais conhecidos da indústria de energia. No entanto, os custos operacionais de uma plataforma são incrivelmente altos e qualquer tempo de inatividade durante o processo pode ter um impacto significativo nos resultados financeiros do operador. Os insights preventivos trazem novas oportunidades para melhorar drasticamente essas perdas.

SigmaStream , que se especializou em fluxos de dados de alta frequência gerados no processo de perfuração, é um bom exemplo de processamento de fluxo sendo implementado no campo. As plataformas do cliente SigmaStream são equipadas com um grande número de sensores para detectar as menores vibrações durante o processo de perfuração. Os dados gerados a partir desses sensores podem atingir 60 a 70 canais de dados de alta frequência que entram no sistema de processamento de fluxo.

Ao processar as informações em tempo real, o SigmaStream permite que os operadores executem esses fluxos de dados e ajam imediatamente nos dados para evitar falhas e atrasos. Um mecanismo de streaming de terceira geração, juntamente com as ferramentas certas para processar e analisar os dados, permite que os operadores monitorem vibrações quase imperceptíveis por meio de análises de streaming nos dados da plataforma. Fazendo ajustes finos, os clientes da SigmaStream economizaram milhões de dólares e reduziram o tempo no local em até 20%.

Na era digital de hoje, a latência é o novo tempo de inatividade. O processamento de fluxo é a próxima etapa lógica para organizações que buscam processar informações mais rapidamente, permitir ações mais rápidas e envolver novos dados na velocidade em que eles chegam. Ao trazer o processamento de stream para os aplicativos convencionais, as organizações podem prosperar em um mundo dominado por novas variedades de aplicativos de altíssimo desempenho e fornecer informações com sensibilidade de tempo para atender às expectativas crescentes.

O autor é Kelly Herrell, CEO da Hazelcast