Por Que Dados em Tempo Real Precisos São Críticos para o Sucesso dos Negócios

Obter dados em tempo real precisos é essencial para os negócios. Requer identificar padrões usando metadados, agrupar essa informação através de arquivos de metadados e garantir precisão de metadados através de uma estrutura de gerenciamento de metadados.

Considere precisão de dados em tempo real, uma característica de qualidade de dados referindo-se a valores e formatos corretos, um must para um negócio rentável e crescente. Empresas precisam de dados em tempo real precisos para lidar com influxos na demanda do consumidor. Um terço de executivos C-suite e profissionais financeiros concordam que valorizam seus dados financeiros em tempo real cada vez mais.

Infelizmente, muitas organizações continuam lutando para obter insights de negócio de seus dados em tempo real. Empresas coletam horas sobre horas de feeds de dados streaming mas podem precisar apenas de alguns minutos desse stream para tomar uma boa decisão.

Mesmo decidindo como validar volumes de dados amassados causa desafios em descobrir rapidamente se um conjunto de dados tem mais precisão que outro. Faça a escolha errada e contribua para um negócio perdendo $14 milhões.

Felizmente, metadados, dados sobre dados, prometem ajuda em chegar à precisão de dados em tempo real. Este artigo iniciará o leitor em uma jornada usando metadados para obter precisão de dados em tempo real.

Usando Metadados para Validar Precisão de Dados em Tempo Real

Pode parecer contra-intuitivo falar sobre gerar mais dados para ajudar a manter dados existentes precisos. Mas metadados têm vários superpoderes:

• Se é preciso, metadados fornecem contexto sobre a informação que descreve, provando precisão de dados. Um programa de computador pode transformar esses metadados em um esquema ou representação.
• Definições de metadados contêm qualquer combinação de descrições técnicas, de negócio ou operacionais de conjuntos de dados. Então, sistemas, processos ou pessoas podem usar metadados para caracterizar clientes, compras, produtos, localizações, etc.,
• Algoritmos podem usar metadados técnicos para sinalizar outro processo ou pessoa para tomar ação adicional.
• Metadados podem envolver um enorme pedaço de dados, tornando aqueles dados mais encontravelhes.

Dois especialistas, Romero e Calders, alavancaram essas forças de metadados com uma abordagem chamada perfilamento de informação. Eles propõem uma estrutura aplicando metadados para formar um esquema para perfilamento e então envolvendo os resultados usando metadados.

Levando esses achados adiante, empresas podem usar suas regras de negócio para guiar formação de metadados do esquema e agrupar dados em pacotes envolvidos por metadados. Essas organizações teriam uma maneira mais eficiente de lidar com dados em tempo real empregando algoritmos para buscar padrões de dados e recuperar conjuntos de dados que correspondem.

Explorando um exemplo de precisão de dados em tempo real

Como o uso de metadados para precisão de dados em tempo real seria na vida real? Gordon e Shankaranarayanan, do Babson College, fornecem insight.

Digamos que o feed da Empresa A tem centenas de mensagens instantâneas chegando a cada hora. Um cliente, João Silva, envia mensagem que quer comprar uma bicicleta da empresa A. Empresa A quer validar que essas mensagens são do João Silva e que ele quer comprar uma bicicleta.

Primeiro, uma aplicação criaria um perfil do João Silva, metadados sobre João Silva. Digamos que os metadados sobre João Silva têm valores baseados em número de telefone, tipo de celular usado, e status de associação com Empresa A. Esta representação do João Silva seria boa quanto os dados contidos no sistema de gestão de relacionamento com cliente da Empresa A.

Então um programa de computador pega este perfil do João Silva e combina com o texto streaming no feed, com regras de negócio definindo o que procurar no stream de dados. Uma vez que o software vê dados correspondendo ao esquema do João Silva, ele vai agrupá-los juntos sob um arquivo de metadados de conteúdo. Este arquivo de metadados de conteúdo seria pesquisável por pessoas que teriam certeza que as mensagens de texto vieram do João Silva (se a qualidade dos metadados atendesse necessidades de negócio).

Também, um algoritmo montaria um perfil de compra para determinar a probabilidade do João Silva comprar uma bicicleta, como a Amazon descobre quais produtos recomendar para seus clientes. Então, um algoritmo pode aplicar este perfil de compra e pesar a probabilidade do João querer comprar uma bicicleta.

Tornando a precisão de metadados crítica

Note que usar metadados para criar um esquema e lote depende fortemente da precisão de metadados. Caso contrário, garantir precisão de dados em tempo real seria impossível.

No exemplo acima, se João Silva tivesse mudado seu número de telefone e seus metadados ainda tivessem o número antigo, então os metadados do João seriam imprecisos. Da mesma forma, o arquivo de metadados com os conjuntos de dados em tempo real precisaria ser rotulado corretamente. Se os metadados com os arquivos de texto do João Silva tivessem o nome do cliente errado, uma pessoa não encontraria o arquivo de texto do João.

Então, as mesmas razões e processos que empresas usam para monitorar dados e limpá-los, para consistentemente entregar alta qualidade de dados, também se aplicam aos metadados. Metadados usados em validar tempo real devem ser adequadamente precisos para ter confiança sobre precisão de dados em tempo real.

Uma estrutura de gerenciamento de metadados

Seria suficiente então automatizar monitoramento e limpeza de metadados? Não. Obter qualidade de metadados suficiente para ser valiosa e acessível ao negócio depende de uma estrutura de gerenciamento de metadados.

As pessoas, processos e tecnologias da organização compõem esta estrutura de gerenciamento de metadados e as regras de negócio que a criam.

Por exemplo, se um departamento padroniza seus nomes de clientes em um sistema e outro departamento formata nomes de clientes diferentemente em uma aplicação separada, ele tem uma estrutura de gerenciamento de metadados instável. De qual departamento a organização pega metadados para usar?

Desenvolver uma estrutura de gerenciamento de metadados para garantir precisão adequada de dados em tempo real requer:

• Avaliações de gerenciamento de metadados sobre quais estruturas existem e seu impacto. A partir desta linha de base, empresas podem descobrir quais processos mudar.
• Estratégia de dados, um plano para usar dados para manter o negócio funcionando e crescendo.
• Governança de dados, um programa que coordena acesso e segurança de metadados, para permanecer em conformidade.
• Alfabetização de dados coletiva sobre a importância e valor dos metadados em determinar precisão de dados em tempo real. Além disso, trabalhadores precisariam saber como definir bons metadados.
• Requisitos de negócio sólidos sobre quais atributos e valores definem o que ou quem os metadados descrevem.

Palavras finais

Em 2020, empresas viram por que precisavam de qualidade de dados em tempo real enquanto desconfiavam sobre obter insights de negócio desses dados. Altos volumes e velocidades de dados apresentam obstáculos significativos para empresas assegurarem rapidamente que cada peça de dado tem precisão em um stream de texto ou mensagem.

Curar os dados em tempo real usando um esquema de metadados e regras de negócio obtém mais valor enquanto economiza recursos da empresa de analisar dados irrelevantes. Agrupar os resultados e rotular esses conjuntos de dados usando metadados torna encontrar dados precisos mais rápido. Mas usar metadados dessa forma requer metadados precisos e uma estrutura de gerenciamento de metadados adequada para que o negócio tenha confiança em sua precisão de dados em tempo real.