Obtendo a vantagem com dados sobre dados

À medida que os dados de IoT se tornam uma parte mais importante das operações de negócios da empresa, a capacidade de reduzir a latência na análise e no processamento de dados pode fazer a diferença. Eleva a promessa de tempo real a um novo nível.

Há muitos dados se movendo nas redes IoT – a ponto de identificar e localizar dados de importância material que podem atrasar as coisas. Metadados — dados sobre dados — são as chaves para o reino dos dados, especialmente quando se trata de indexação e identificação de dados não estruturados. Assim como os dados podem sobrecarregar as funções corporativas, os metadados podem tornar as coisas ainda mais lentas.

Uma nova proposta, apresentada na recente conferência IEEE Edge Computing,
oferece uma maneira de lidar com o problema de terabytes de metadados sendo atribuídos em muitos domínios de aplicativos - o que eles chamam de "metadados eficientes e escaláveis", um termo que nem seria necessário na era pré-edge, batch.

Os pesquisadores, Bing Zhang, da Universidade de Illinois, e Tevfik Kosar, da Universidade de Buffalo, apresentaram uma solução que move metadados pelas redes IoT de maneira mais rápida e eficiente. Eles também criaram uma maneira de armazenar em cache e prever o acesso de metadados em toda a rede, o que poderia reduzir a latência no acesso e movimentação de dados. “Reproduzimos aproximadamente 20 milhões de operações de acesso a metadados de rastreamentos de auditoria reais, nos quais nosso sistema atingiu 80% de precisão durante a previsão de pré-busca e reduziu a latência média de busca em 50% em comparação com os mecanismos de última geração.”

Veja também: O relatório da Deloitte detalha o escopo do desafio de modernização de dados

Já, “mais de 50% de todas as operações de E/S são devidas a uso intensivo de metadados
computação e as solicitações para ler atributos de arquivo dominam em todas as cargas de trabalho”, afirmam Zhang e Kosar. Eles dizem que rotinas de pré-busca mais agressivas – que movem dados do armazenamento para a memória temporária em antecipação às próximas solicitações do usuário – podem funcionar melhor com metadados do que com os dados reais.

Os autores testaram essa arquitetura, empregando logs de rastreamento de grade do Yahoo Hadoop do Yahoo! Conjunto de dados do Webscope, consistindo em operações diárias contínuas de metadados do nó de nome do Hadoop em 2010. O sistema alcançou “uma taxa de previsão de 80% em sua operação de metadados e reduziu a latência média de busca em 50% em comparação com outros mecanismos de última geração”, eles relatam. “Isso é amigável para a rede IoT, onde os dispositivos IoT com recursos limitados de computação e armazenamento podem atingir a mesma latência média de busca que o nó de computação de borda/neblina de proximidade.”

À medida que os dados de IoT se tornam uma parte mais importante das operações de negócios da empresa, a capacidade de reduzir a latência na análise e no processamento de dados pode fazer a diferença. Eleva a promessa de tempo real a um novo nível.