Impulsione Performance IoT com Insights de Dados Dirigidos por Metadados

À medida que dados IoT se tornam uma parte mais importante de operações de negócio empresariais, a capacidade de reduzir latência em análise e processamento de dados pode fazer a diferença. Eleva a promessa de tempo real a um novo nível.

Há muitos dados movendo através de redes IoT – a ponto onde identificar e localizar dados de importância material pode desacelerar as coisas. Metadados – dados sobre dados – são as chaves para o reino dos dados, especialmente quando se trata de indexar e identificar dados não estruturados. Assim como dados podem sobrecarregar funções empresariais, metadados podem desacelerar as coisas ainda mais.

Uma nova proposta, apresentada na recente conferência IEEE Edge Computing, oferece uma maneira de lidar com a questão de terabytes de metadados sendo atribuídos dentro de muitos domínios de aplicação – o que eles chamam de "metadados eficientes e escaláveis", um termo que não teria sido nem necessário na era pré-edge, batch.

Os pesquisadores, Bing Zhang da University of Illinois e Tevfik Kosar da University at Buffalo, apresentam uma solução que move metadados através de redes IoT de maneira mais rápida e eficiente. Eles também criaram uma maneira de cachear e predizer acesso a metadados através da rede, o que potencialmente poderia reduzir latência em acesso e movimento de dados. "Reproduzimos aproximadamente 20 milhões de operações de acesso a metadados de traces de auditoria reais, em que nosso sistema alcançou 80% de precisão durante predição de prefetch e reduziu a latência média de fetch 50% comparado a mecanismos state-of-the-art."

Veja também: Relatório Deloitte Detalha Escopo do Desafio de Modernização de Dados

Já, "mais de 50% de todas as operações I/O são devidas a computação intensiva em metadados e requisições para ler atributos de arquivo dominam em todas as cargas de trabalho," Zhang e Kosar declaram. Eles dizem que rotinas de prefetch mais agressivas – que movem dados de armazenamento para memória temporária em antecipação a requisições de usuários vindouros – podem funcionar melhor com metadados que com dados reais em si.

Os autores testaram tal arquitetura, empregando Yahoo Hadoop grid trace logs do dataset Yahoo! Webscope, consistindo de operações diárias contínuas de metadados de Hadoop name node em 2010. O sistema alcançou "uma taxa de predição de 80% em sua operação de metadados e reduziu a latência média de fetch 50% comparado a outros mecanismos state-of-the-art," eles reportam. "Isto é amigável para rede IoT, onde dispositivos IoT com capacidades limitadas de computação e armazenamento podem alcançar a mesma latência média de fetching que o nó de compute edge/fog de proximidade."

À medida que dados IoT se tornam uma parte mais importante de operações de negócio empresariais, a capacidade de reduzir latência em análise e processamento de dados pode fazer a diferença. Eleva a promessa de tempo real a um novo nível.