Automatizando Qualidade de Dados para Acelerar Sucesso de IA e ML

Organizações podem automatizar qualidade de dados para melhorar IA e ML? Na última década, empresas começaram compreender e desbloquear potencial que inteligência artificial (IA) e machine learning (ML) podem trazer. Embora ainda em infância, empresas começam entender impacto significativo esta tecnologia pode trazer, ajudando tomar decisões melhores, mais rápidas e eficientes.

Claro, IA e ML não é bala de prata para ajudar negócios abraçar inovação. De fato, sucesso destes algoritmos só é bom quanto suas fundações — especificamente, dados de qualidade.

Sem isso, negócios verão objetivo que instalaram IA e ML para fazer falhar, com consequências imprevistas de dados ruins causando dano irreversível ao negócio tanto em termos de eficiência quanto reputação.

Mas há outra área exploração madura para desenvolvimento; nomeadamente, qualidade de dados pode ser melhorada e mantida por automação e machine learning em si?

Risco de qualidade de dados ruim

De serviços streaming filmes, a chatbots, a ajudar informar como supermercados organizam prateleiras e guiar-nos através major hubs transporte, ML influencia nossas vidas de formas unimagináveis década atrás.

Mas o que acontece se algoritmo posto para trabalhar sobre fundação qualidade dados ruim? Riscos futuro poderiam ser far more severe que ser servido filme você não gosta.

Se começarmos confiar machine learning melhorar descoberta e testagem farmacêuticos, por exemplo, o que aconteceria se droga formulada mas haviam erros nos dados composto químico usados simular testagem? Implicações poderiam ser graves.

Aplicação emergente ML que também poderia ser impactada por dados base ruins é veículos auto-dirigidos. De mapas e endereços a como veículo reage a ciclista, dados usados ensinar máquina serão cruciais para adoção consumidor e regulador.

Algoritmos ML – aqueles conjuntos regras e cálculos que ajudam resolver problemas definidos — podem tanto suportar melhoria qualidade dados quanto serem thrown off por dados inaccurados caso possibilidade dados ruins não considerada em sua construção.

Qualidade de dados automatizada

Como com qualquer transformação digital, mover de manual para automatizado e então ‘inteligente’ gestão qualidade dados requer plano longo-prazo. Experian identificou quatro estágios sobre progressão gestão dados, que chamamos Curva Maturidade Gestão Dados. Unaware, Reactive, Proactive e Optimised & Governed refletem quatro estágios que abrangem ciclo completo estratégia qualidade dados.

Avaliação revelou progressão steady up curva maturidade, conforme organizações começam liberar potencial dados que possuem e levam mais a sério. Mais intriguingly de todos, aqueles que se encontram estágio Optimised & Governed, poderiam estar vendo começos de outro nível, algo que pode ser termed ‘intelligently automated.’

‘Intelligently automated’ refere-se a ter sistemas e processos no lugar para ajudar pessoas responsáveis por qualidade dados identificar onde maiores preocupações estão. Todos deveríamos now estar revisando key performance metrics base regular para identificar tendências qualidade dados, talvez olhando overall completion rates key attributes, ou monitoring para quaisquer timing concerns com data receipt ou data load stages. Mas truly understanding sua qualidade dados requires us to take deeper look into conteúdo.

Por exemplo, é suficiente dizer que coletou date of birth para meet third party data requirements em 99% casos, quando large proportion dates coletados são system derived e portanto não real dates of birth? Isso pode causar real problemas e unintended consequences podem ripple through seu decision making process.

Próximos passos

Maioria programas qualidade dados já contêm elemento automação e test and learn. Próximo estágio esta evolução é uso machine learning para automaticamente reconhecer e responder a diferentes tipos de dados — ‘intelligently automated.’

Por exemplo, ferramenta gestão dados que reconhece informação standard como endereço, email, número cartão crédito, ou número seguro nacional com pouco pre-training ou rule writing antes tomar ações como validar entry ou flagging compliance issue a manager.

Goal final é ML para qualidade dados que então melhora a si mesmo over time. Bom exemplo é company name — Tesco PLC same as Tesco Stores Ltd? E sobre parte grupo Tesco que não tem palavra ‘Tesco’ no company name?

Agrupar entidades comerciais juntas pode ser tão simples quanto procurar nome, ou mais complexo olhando detalhe company accounts, endereços head office, nomes CEO, web addresses e outros metadata para encontrar associações around globe.

Estes tipos hipóteses são business challenges que strong data strategy pode suportar. However, can we move to place where we can automate this learning e improve nossa qualidade dados over time com less manual effort, dando nossa data people mais tempo analisar e suportar negócio?

That’s the challenge for ML — taking base rules for data quality, implementing them and then suggesting improvements as real-world changes in data become visible as exceptions or outliers. It’s an emerging subject and one that we expect to see a great deal of development on in the years ahead.

Sua estratégia de dados

Fundamentalmente, every example of ML is reliant on data that is fit for purpose — if not that data, and as a consequence, the decisions which are made because of it, can’t be trusted.

To avoid this, organisations need to ensure they have a robust data strategy. Think about the reasons for embarking on ML; what are the explainable outcomes they want to achieve and avoid?

Then, by conducting an initial assessment of your data to sense check the quality of what they already have, the organisation can take action and plan for what else they need in order to improve the overall quality of their data.

Being able to identify and trace the decisions made via ML — and all automated decision-making processes — is vital if they’re to be adopted and implemented successfully.

Ongoing monitoring of data quality is also crucial. By doing this you’ll be able to identify quickly which areas need attention and be reassured that you’re in the best possible position with current and potential ML initiatives.

Then, organisations will be in a position for ML to enable them to manage their data quality more efficiently, making their decision-making processes faster and better.

Taking this to its logical conclusion, using machine learning can help us identify those data concerns that remain hidden until they are a real problem. If we can train models to identify the key attributes that can influence a decision or process down the line, and then monitor for fluctuations or concerning patterns, we may even be able to predict the impact these data concerns could have on your business.

For example, if we know that the number of bedrooms in a property directly impacts decisions in our business, and we establish that we have incomplete or approximated data in this field to a certain scale that is getting worse, could we predict, based on where we know the data is used, rental income estimates, mortgage valuations, or heating consumption predictions?

The impact of this growing data quality concern, could help build the business case to get it corrected now rather than when it is a real problem.