A importância da precisão dos dados em tempo real no seu negócio

Obter dados precisos em tempo real é essencial para os negócios. Requer a identificação de padrões usando metadados, agrupando essas informações por meio de arquivos de metadados e garantindo a precisão dos metadados por meio de uma estrutura de gerenciamento de metadados.

Considere a precisão dos dados em tempo real, uma característica de qualidade de dados referente a valores e formatos corretos, uma obrigação para um negócio lucrativo e em crescimento. As empresas precisam de dados precisos em tempo real para lidar com os influxos na demanda do consumidor. Um terço dos executivos C-suite e profissionais financeiros concordam que valorizam cada vez mais seus dados financeiros em tempo real.

Infelizmente, muitas organizações continuam lutando para obter insights de negócios de seus dados em tempo real. As empresas coletam horas e horas de feeds de dados de streaming, mas podem precisar apenas de alguns minutos desse fluxo para tomar uma boa decisão.

Até mesmo decidir como validar volumes de dados acumulados causa desafios para descobrir rapidamente se um conjunto de dados tem mais precisão do que outro. Faça a ligação errada e contribua para que um negócio perca US$ 14 milhões.

Felizmente, metadados, dados sobre dados, prometem ajudar a obter a precisão dos dados em tempo real. Este artigo iniciará o leitor em uma jornada usando metadados para obter precisão de dados em tempo real.

Uso de metadados para validar a precisão dos dados em tempo real

Pode parecer contra-intuitivo falar sobre a geração de mais dados para ajudar a manter os dados existentes precisos. Mas os metadados têm vários superpoderes:

• Se forem precisos, os metadados fornecem contexto sobre as informações que descrevem, comprovando a precisão dos dados. Um programa de computador pode transformar esses metadados em um esquema ou representação.
• As definições de metadados contêm qualquer combinação de descrições técnicas, comerciais ou operacionais de conjuntos de dados. Assim, sistemas, processos ou pessoas podem usar metadados para caracterizar clientes, compras, produtos, locais etc.,
• Os algoritmos podem usar metadados técnicos para sinalizar que outro processo ou pessoa tome medidas adicionais.
• Os metadados podem envolver uma grande quantidade de dados, tornando esses dados mais fáceis de encontrar.

Dois especialistas, Romero e Calders, aproveitaram esses pontos fortes de metadados com uma abordagem chamada de perfil de informações. Eles propõem uma estrutura que aplica metadados para formar um esquema para criação de perfil e, em seguida, inclui os resultados usando metadados.

Levando essas descobertas adiante, as empresas podem usar suas regras de negócios para orientar a formação de metadados do esquema e agrupar dados em pacotes agrupados por metadados. Essas organizações teriam uma maneira mais eficiente de lidar com dados em tempo real empregando algoritmos para procurar padrões de dados e recuperar conjuntos de dados correspondentes.

Explorando um exemplo de precisão de dados em tempo real

Como seria o uso de metadados para precisão de dados em tempo real na vida real? Gordon e Shankaranarayanan, do Babson College, fornecem informações.

Digamos que o feed da Empresa A tenha centenas de mensagens instantâneas chegando a cada hora. Um cliente, John Doe, envia uma mensagem de texto dizendo que deseja comprar uma bicicleta da empresa A. A empresa A deseja validar que essas mensagens são de John Doe e que ele deseja comprar uma bicicleta.

Primeiro, um aplicativo criaria um perfil John Doe, metadados sobre John Doe. Digamos que os metadados sobre John Doe tenham valores com base no número de telefone, no tipo de telefone celular usado e no status de associação com a Empresa A. Essa representação John Doe seria boa como os dados contidos no sistema de gerenciamento de relacionamento com o cliente da Empresa A.

Em seguida, um programa de computador pega esse perfil John Doe e o compara com o fluxo de texto no feed, com regras de negócios definindo o que procurar no fluxo de dados. Depois que o software vê os dados correspondentes ao esquema de John Doe, ele os agrupa em um arquivo de metadados de conteúdo. Esse arquivo de metadados de conteúdo seria pesquisável por pessoas que teriam certeza de que as mensagens de texto vieram de John Doe (se a qualidade dos metadados atendesse às necessidades de negócios).

Além disso, um algoritmo montaria um perfil de compra para determinar a probabilidade de John Doe comprar uma bicicleta, como a Amazon descobre quais produtos recomendar para seus clientes. Em seguida, um algoritmo pode aplicar esse perfil de compra e avaliar a probabilidade de John querer comprar uma bicicleta.

Tornar a precisão dos metadados essencial

Observe que o uso de metadados para criar um esquema e lote depende muito da precisão dos metadados. Caso contrário, seria impossível garantir a precisão dos dados em tempo real.

No exemplo acima, se John Doe tivesse alterado seu número de telefone e seus metadados ainda tivessem o número de telefone antigo, os metadados de John seriam imprecisos. Da mesma forma, o arquivo de metadados com os conjuntos de dados em tempo real precisaria ser rotulado corretamente. Se os metadados com os arquivos de texto de John Doe tivessem o nome do cliente errado, uma pessoa não encontraria o arquivo de texto de John.

Portanto, os mesmos motivos e processos que as empresas usam para monitorar dados e limpá-los, para fornecer consistentemente alta qualidade de dados, também se aplicam aos metadados. Os metadados usados ​​na validação em tempo real devem ser adequadamente precisos para se ter confiança na precisão dos dados em tempo real.

Uma estrutura de gerenciamento de metadados

Seria suficiente então automatizar o monitoramento e limpeza de metadados? Não. Obter qualidade de metadados suficiente para serem valiosos e acessíveis aos negócios depende de uma estrutura de gerenciamento de metadados.

As pessoas, processos e tecnologias da organização compõem essa estrutura de gerenciamento de metadados e as regras de negócios que a criam.

Por exemplo, se um departamento padronizar seus nomes de clientes em um sistema e outro departamento formatar nomes de clientes de forma diferente em um aplicativo separado, ele terá uma estrutura de gerenciamento de metadados instável. De qual departamento a organização obtém metadados para uso?

O desenvolvimento de uma estrutura de gerenciamento de metadados para garantir a precisão adequada dos dados em tempo real requer:

• Avaliações de gerenciamento de metadados sobre quais estruturas existem e seu impacto. A partir dessa linha de base, as empresas podem descobrir quais processos devem ser alterados.
• Estratégia de dados, um plano para usar dados para manter o negócio funcionando e crescendo.
• Governança de dados, um programa que coordena o acesso e a segurança de metadados para manter a conformidade.
• Conhecimento de dados coletivos sobre a importância e o valor dos metadados na determinação da precisão dos dados em tempo real. Além disso, os funcionários precisariam saber como definir bons metadados.
• Requisitos de negócios sólidos sobre quais atributos e valores definem o que ou quem os metadados descrevem.

Palavras finais

Em 2020, as empresas perceberam por que precisavam de qualidade de dados em tempo real enquanto desconfiavam de obter insights de negócios a partir desses dados. Altos volumes de dados e velocidades de dados apresentam às empresas obstáculos significativos para garantir rapidamente que cada parte dos dados tenha precisão em um fluxo de texto ou mensagem.

A curadoria de dados em tempo real usando um esquema de metadados e regras de negócios obtém mais valor enquanto economiza recursos da empresa ao analisar dados irrelevantes. Agrupar os resultados e rotular esses conjuntos de dados usando metadados torna a localização de dados precisos mais rápida. Mas usar metadados dessa maneira requer metadados precisos e uma estrutura de gerenciamento de metadados adequada para que a empresa confie na precisão dos dados em tempo real.