Acelere Insights de Negócio com Soluções Automatizadas de Data Science & Machine Learning

Cientistas de dados são cruciais no sucesso de projetos de data science. Mas, não o podem fazer sozinhos. Precisam de ajuda de outros conjuntos de competências, bem como soluções de automação.

Dados, o petróleo que lubrifica as engrenagens da máquina moderna. Mas, há um problema. Organizações estão a lutar para obter insights de negócio deste novo poder.

Em curta oferta

No mercado, muitos clientes empresariais estão a tentar construir equipas de data science muito grandes. Alguns, estão a tentar contratar centenas para lidar com a explosão de dados; com fontes que vão desde input de cliente a dispositivos IoT — isto tornar-se-á o canal principal.

Mas não é muito fácil, há uma enorme escassez de cientistas de dados.

Existem, como a Gartner cunhou, citizen data scientists — uma pessoa que cria ou gera modelos que usam analytics avançados de diagnóstico ou capacidades preditivas e prescritivas, mas cuja função principal está fora do campo de estatísticas e analytics — mas fornecem um papel complementar a cientistas de dados especialistas. Não substituem os especialistas, pois não têm a expertise específica avançada de data science para o fazer.

Mesmo com isto, muitas empresas estão realmente a lutar para estabelecer uma equipa de citizen data science, quanto mais uma equipa de cientistas de dados.

Data science

Data science é descrito como campo multi-disciplinar que usa métodos científicos, processos, algoritmos e sistemas para extrair conhecimento e insights de dados em várias formas, tanto estruturados como não estruturados, similar a data mining.

Naturalmente, tem muitos componentes diferentes. Um dos quais é machine learning, que é "a parte mais divertida de data science", segundo Ryohei Fujimaki, CEO e fundador na dotData.

A dor real que empresas enfrentam está no lado dos dados — construir os datasets para que estejam maduros para data science ser aplicado. Dados são muito complexos, e quando recolhidos na empresa não são armazenados para propósitos de machine learning e data science. São armazenados para propósitos de negócio; em gráficos, por exemplo.

Empresas têm de transformar estes dados de negócio no formato de machine learning, que é chamado "feature learning", diz Fujimaki. "E basicamente temos de aplicar muito conhecimento de domínio para correr os dados."

Então, neste clima, onde talento é escasso, mas os dados continuam a fluir, é necessário automatizar o processo ponta a ponta de data science; incluindo dados no pipeline de features.

Obter insights e impulsionar ações

Machine learning pode prever, predizer e identificar novos clientes, e em serviços financeiros, por exemplo, quem tem mais risco. Esta predição* impulsiona a automação de processos de negócio. O negócio core é integrado com o sistema de negócio e dispara alguma ação de negócio automaticamente. Desta forma, há muitas áreas para tornar um negócio muito mais eficiente.

Outro resultado muito importante do processo de machine learning e data science é insights de negócio. Dados são muito complexos — e especialistas da indústria têm conhecimento de domínio e intuição — mas há muito conhecimento escondido atrás da enorme quantidade de dados a entrar na empresa. Machine learning ou o processo de data science pode normalmente descobrir algo desconhecido, não visto ou inesperado, mesmo para um especialista.

Exemplo da dotData

A dotData trabalhou com um cliente bancário que aplicou a sua plataforma para prever quem são os novos clientes que estariam interessados num produto de empréstimo hipotecário. Primeiro pensaram que este produto apelaria a pessoas mais novas. Mas, o que descobriram foi que um tipo muito diferente de cliente estava interessado, pessoas que eram um pouco mais seniores em idade. Acabou por ser que este demográfico de cliente comprava este produto mais do que o demográfico mais novo previsto.

Este tipo de novo insight de negócio significou que o cliente podia construir e desenhar uma nova campanha promocional para este segmento de cliente; ou podem desenhar um novo produto baseado neste tipo de insight de negócio.

Automatizar o processo de data science e machine learning produziu novos insights de negócio dos dados.

Cientistas de dados sozinhos... não são bons o suficiente

Que tipo de conjuntos de competências precisam negócios para permitir data science extrair resultados de negócio significativos? A primeira coisa é conhecimento matemático ou estatístico, mas ao mesmo tempo estes negócios têm de descarregar dados muito grandes, de larga escala, complexos — precisam de data engineering para isto.

"Também, usar os mesmos dados para resolver diferentes problemas de negócio, precisa de domain expertise diferente", diz Fujimaki.

Um bom cientista de dados precisa de ter forte conjunto de competências matemáticas e estatísticas, mas frequentemente, não possuem competências de negócio e data engineering.

A escassez de cientistas de dados é um obstáculo para qualquer projeto de data science bem-sucedido. Mas, o problema é: cientistas de dados sozinhos não são bons o suficiente para completar um projeto grande e complexo.

Projetos de data science bem-sucedidos precisarão de domain experts, design engineers e cientistas de dados.

Uma parte muito grande de projeto de data science é predição* — precisa de ser integrada com o sistema de negócio e automaticamente impulsionar muita manutenção digital. Isto significa que negócios precisam de um engenheiro que compreenda este processo de data science e integre apropriadamente este processo de data science em sistemas de negócio. Fujimaki chama a estes tipos de pessoas "data science talents".

Um cientista de dados é integral, mas há muitos mais papéis requeridos para completar um projeto de data science.

Soluções, como a dotData, ajudam a resolver este problema e partilham o esforço e preenchem as lacunas, automatizando data science e machine learning.