Podemos automatizar a qualidade dos dados para dar suporte à inteligência artificial e ao aprendizado de máquina?

As organizações podem automatizar a qualidade dos dados para melhorar a IA e o ML?
Na última década, as empresas começaram a entender e desbloquear o potencial que a inteligência artificial (IA) e o aprendizado de máquina (ML) podem trazer. Ainda em sua infância, as empresas estão começando a entender o impacto significativo que essa tecnologia pode trazer, ajudando-as a tomar decisões melhores, mais rápidas e mais eficientes.

É claro que IA e ML não são uma bala de prata para ajudar as empresas a adotar a inovação. Na verdade, o sucesso desses algoritmos é tão bom quanto seus fundamentos – especificamente, dados de qualidade.

Sem ele, as empresas verão o próprio objetivo em que instalaram IA e ML falhar, com as consequências imprevistas de dados incorretos causando danos irreversíveis aos negócios, tanto em termos de eficiência quanto de reputação.

Mas há outra área de exploração que está pronta para desenvolvimento; ou seja, a qualidade dos dados pode ser melhorada e mantida pela própria automação e aprendizado de máquina?

O risco de baixa qualidade de dados

De serviços de streaming de filmes a chatbots, para ajudar a informar como os supermercados organizam suas prateleiras e nos guiar pelos principais centros de transporte, o ML influencia nossas vidas de maneiras inimagináveis ​​há uma década.

Mas o que acontece se o algoritmo estiver configurado para funcionar com base na baixa qualidade dos dados? Os riscos no futuro podem ser muito mais graves do que receber um filme que você não gosta.

Se começarmos a confiar no aprendizado de máquina para melhorar a descoberta e o teste de produtos farmacêuticos, por exemplo, o que aconteceria se um medicamento fosse formulado, mas houvesse erros nos dados do composto químico usados ​​para simular os testes? As implicações podem ser graves.

Uma aplicação emergente de ML que também pode ser impactada por dados de base deficientes são os veículos autônomos. De mapas e endereços a como um veículo reage a um ciclista, os dados usados ​​para ensinar a máquina serão cruciais para a adoção do consumidor e do regulador.

Os algoritmos de ML – aqueles conjuntos de regras e cálculos que ajudam a resolver problemas definidos – podem apoiar a melhoria da qualidade dos dados ou ser descartados por dados imprecisos, caso a possibilidade de dados ruins não seja considerada em sua construção.

Qualidade de dados automatizada

Como em qualquer transformação digital, passar do gerenciamento de qualidade de dados manual para automatizado e, em seguida, “inteligente” exigirá um plano de longo prazo. A Experian identificou quatro estágios sobre a progressão do gerenciamento de dados, que chamamos de Curva de Maturidade do Gerenciamento de Dados. Inconsciente, Reativo, Proativo e Otimizado e Governado refletem os quatro estágios que abrangem um ciclo completo de uma estratégia de qualidade de dados.

A avaliação revelou uma progressão constante na curva de maturidade, à medida que as organizações começam a liberar o potencial dos dados que possuem e a levá-lo mais a sério. O mais intrigante de tudo, aqueles que se encontram no estágio Otimizado e Governado, podem estar vendo o início de outro nível, algo que pode ser chamado de "inteligentemente automatizado".

“Inteligentemente automatizado” refere-se a ter sistemas e processos implementados para ajudar as pessoas responsáveis ​​pela qualidade dos dados a identificar onde estão suas maiores preocupações. Todos nós já deveríamos estar revisando as principais métricas de desempenho regularmente para identificar tendências na qualidade dos dados, talvez analisando as taxas gerais de conclusão dos principais atributos ou monitorando quaisquer preocupações de tempo com recebimento de dados ou estágios de carregamento de dados. Mas entender verdadeiramente a qualidade dos seus dados exige que analisemos mais profundamente o conteúdo.

Por exemplo, é suficiente dizer que você coletou uma data de nascimento para atender aos requisitos de dados de terceiros em 99% dos casos, quando uma grande proporção das datas coletadas são derivadas do sistema e, portanto, não são datas de nascimento reais? Isso pode causar problemas reais e as consequências não intencionais podem se espalhar pelo seu processo de tomada de decisão.

Os próximos passos

A maioria dos programas de qualidade de dados já contém um elemento de automação e teste e aprendizado. O próximo estágio dessa evolução é o uso do aprendizado de máquina para reconhecer e responder automaticamente a diferentes tipos de dados - 'automatizados de maneira inteligente'.

Por exemplo, uma ferramenta de gerenciamento de dados que pode reconhecer informações padrão, como endereço, e-mail, número de cartão de crédito ou número de seguro nacional com pouco pré-treinamento ou redação de regras antes de realizar ações como validar a entrada ou sinalizar um problema de conformidade para um Gerente.

O objetivo final é o ML para qualidade de dados que se aprimora com o tempo. Um bom exemplo disso é o nome da empresa - Tesco PLC é o mesmo que Tesco Stores Ltd? E uma parte do grupo Tesco que não tem a palavra 'Tesco' no nome da empresa?

Agrupar entidades comerciais pode ser tão simples quanto procurar o nome ou mais complexo, observando os detalhes das contas da empresa, endereços da sede, nomes dos CEOs, endereços da Web e outros metadados para encontrar associações em todo o mundo.

Esses tipos de hipóteses são os desafios de negócios que uma forte estratégia de dados pode suportar. No entanto, podemos mudar para um lugar onde podemos automatizar esse aprendizado e melhorar a qualidade de nossos dados ao longo do tempo com menos esforço manual, dando ao nosso pessoal de dados mais tempo para analisar e dar suporte aos negócios?

Esse é o desafio do ML — pegar as regras básicas para a qualidade dos dados, implementá-las e sugerir melhorias à medida que as mudanças do mundo real nos dados se tornam visíveis como exceções ou discrepâncias. É um assunto emergente e que esperamos ver um grande desenvolvimento nos próximos anos.

Sua estratégia de dados

Fundamentalmente, todos os exemplos de ML dependem de dados adequados à finalidade – se não esses dados e, como consequência, as decisões tomadas por causa deles não podem ser confiáveis.

Para evitar isso, as organizações precisam garantir que tenham uma estratégia de dados robusta. Pense nas razões para embarcar no ML; quais são os resultados explicáveis ​​que eles querem alcançar e evitar?

Em seguida, ao realizar uma avaliação inicial de seus dados para verificar a qualidade do que eles já possuem, a organização pode agir e planejar o que mais precisa para melhorar a qualidade geral de seus dados.

Ser capaz de identificar e rastrear as decisões tomadas via ML — e todos os processos automatizados de tomada de decisão — é vital para que sejam adotadas e implementadas com sucesso.

O monitoramento contínuo da qualidade dos dados também é crucial. Ao fazer isso, você poderá identificar rapidamente quais áreas precisam de atenção e ter certeza de que está na melhor posição possível com as iniciativas de ML atuais e potenciais.

Assim, as organizações estarão em condições de o ML permitir que gerenciem a qualidade de seus dados com mais eficiência, tornando seus processos de tomada de decisão mais rápidos e melhores.

Levando isso à sua conclusão lógica, o uso do aprendizado de máquina pode nos ajudar a identificar as preocupações com os dados que permanecem ocultas até que se tornem um problema real. Se pudermos treinar modelos para identificar os principais atributos que podem influenciar uma decisão ou processo no futuro e, em seguida, monitorar flutuações ou padrões preocupantes, poderemos até prever o impacto que essas preocupações com dados podem ter em seus negócios.

Por exemplo, se soubermos que o número de quartos em uma propriedade impacta diretamente as decisões em nosso negócio e estabelecermos que temos dados incompletos ou aproximados nesse campo em uma determinada escala que está piorando, poderíamos prever, com base em onde sabemos que os dados são usados, estimativas de renda de aluguel, avaliações de hipotecas ou previsões de consumo de aquecimento?

O impacto dessa crescente preocupação com a qualidade dos dados pode ajudar a construir o caso de negócios para corrigi-lo agora, e não quando for um problema real.