Por que o backhaul de dados contínuos para a nuvem custa mais do que você imagina

Em indústrias cada vez mais impulsionadas pela tomada de decisões em tempo real, como a indústria transformadora, os transportes, as telecomunicações, a segurança pública e muito mais, os dados já não são criados em lotes ocasionais. Ela chega continuamente e em grande escala a partir de sensores, máquinas, ativos móveis e aplicações digitais. Embora a centralização desses dados em uma nuvem ou data center para análise parecesse eficiente, o volume, a velocidade e a criticidade dos fluxos de dados atuais expuseram sérias limitações à abordagem tradicional de backhaul first.

Durante anos, as organizações que lidam rotineiramente com esses fluxos de dados e desejam usar os dados para obter insights em tempo real têm transferido a análise desses dados para a borda, onde são criados. Cada vez mais, à medida que os volumes de dados e as taxas de geração de dados aumentam, muitas organizações estão transmitindo aos seus sistemas de borda inteligência avançada para agir de forma adaptativa com base nos insights em tempo real e quase em tempo real que suas análises derivam.

Veja também: Além da latência:a próxima fase da Adaptive Edge Intelligence

As limitações do backhauling de dados

O backhaul de dados para instalações centralizadas teve aplicações práticas durante décadas, quando os volumes de dados e a taxa de geração de dados eram modestos. Os dados seriam armazenados e analisados ​​para ações imediatas ou para compreender tendências históricas.

Esse modelo não funciona mais em setores que possuem grandes volumes de streaming contínuo de dados. Algumas indústrias impactadas incluem:

• Organizações de serviços financeiros tentando agir em fluxos intermináveis de dados transacionais.
• Empresas de manufatura tentando entender a IoT e outros dados de sensores de equipamentos em linhas de produção.
• Varejistas on-line que tentam aproveitar o momento e apresentar itens relevantes aos clientes em seus sites.
• Veículos autônomos tentando interpretar fluxos de vídeo para evitar obstáculos na estrada e obedecer às leis de trânsito.

Nestes casos e em outros, um dos desafios mais imediatos do backhauling de dados é o congestionamento da rede . Fontes de dados de alta frequência, como sensores IoT, feeds de vídeo HD, sistemas autônomos ou maquinário industrial, podem produzir gigabytes ou até terabytes de dados por hora. A tentativa de canalizar isso para um local central sobrecarrega a largura de banda disponível, aumentando os custos e diminuindo o desempenho geral da rede. As atualizações de largura de banda ajudam, mas a escala é deficiente, levando a custos mais elevados.

Depois, há a latência , que é o assassino silencioso da capacidade de resposta em tempo real. Quando os dados brutos precisam percorrer longas distâncias para serem processados, o atraso de ida e volta pode tornar os insights obsoletos no momento em que os sistemas analíticos agem sobre eles. Em cenários críticos para a segurança ou urgentes, como detecção de falhas em serviços públicos, controle de qualidade em linhas de produção ou manutenção preditiva de frotas de transporte, milissegundos são importantes. Uma arquitetura de processamento centralizado simplesmente não pode garantir um desempenho determinístico.

Outra questão frequentemente esquecida é a ineficiência de custos . O armazenamento em nuvem, as taxas de transferência de dados e os recursos de computação tornam-se caros quando grandes conjuntos de dados são movidos continuamente. Muitas organizações descobrem que estão pagando para armazenar e analisar dados redundantes, de baixo valor ou irrelevantes. Na verdade, estudos mostram rotineiramente que a maioria dos dados brutos dos sensores nunca é usada, mas ainda assim incorre em custos totais de transporte e armazenamento quando transferidos por backhaul.

Riscos de segurança e privacidade também crescem à medida que o volume de dados aumenta. A movimentação de dados não filtrados em redes de longa distância expande a superfície de ataque e exige criptografia, monitoramento e controles de conformidade rigorosos. Dados confidenciais, como informações de localização, telemetria operacional ou padrões de uso do cliente, podem ter implicações regulatórias quando transportados entre regiões ou limites da nuvem. Para algumas indústrias, isto por si só torna o backhauling centralizado impraticável.

Finalmente, as arquiteturas centralizadas limitam a resiliência . Se a conectividade for perdida ou o desempenho diminuir, os sistemas que dependem da nuvem para análise podem não conseguir tomar decisões oportunas. Isto é inaceitável em ambientes periféricos, como operações de mineração remotas, plataformas de energia offshore, redes inteligentes ou sistemas de transporte que não podem interromper a operação até que a rede se recupere.

Uma análise mais detalhada dos problemas de backhauling de dados

Em suma, à medida que os sistemas em tempo real proliferam, a análise e a tomada de decisões devem aproximar-se da origem do evento, manter o estado, executar com latência mínima e consistência total.

Um blog recente do Volt Active Data colocou os problemas de backhauling de dados em perspectiva e discutiu como os sistemas adaptativos de inteligência de ponta os eliminam.

O blog observou que, embora o processamento centralizado de dados ofereça alguma conveniência de gerenciamento, ele acarreta custos ocultos substanciais. Estas incluem elevadas despesas de largura de banda e armazenamento decorrentes do transporte e alojamento de grandes conjuntos de dados, aumento do consumo de energia e da pegada de carbono associada, desafios de latência e fiabilidade da rede (especialmente para aplicações em tempo real) e maior risco de pontos únicos de falha quando todo o processamento depende de infraestrutura centralizada.

Para superar esses problemas, as organizações estão transferindo a inteligência para a borda:processando e filtrando dados mais perto de sua fonte, de modo que apenas informações significativas e reduzidas sejam enviadas para o upstream. Esse modelo nativo de borda reduz os custos de transmissão e armazenamento, reduz drasticamente a latência, melhora a resiliência operacional e permite arquiteturas mais ecológicas e sustentáveis.

Uma palavra final

À medida que as organizações adotam mais automação, IA e operações autônomas na borda, o modelo de enviar tudo para um data center torna-se cada vez mais insustentável. O futuro está em arquiteturas híbridas e nativas de borda, onde os dados são processados ​​localmente, reduzidos ou enriquecidos na fonte, e apenas saídas ou agregados de alto valor são enviados upstream.