Automatizando ciência de dados e aprendizado de máquina para insights de negócios

Os cientistas de dados são cruciais para o sucesso dos projetos de ciência de dados. Mas, eles não podem fazer isso sozinhos. Eles precisam de ajuda de outros conjuntos de habilidades, bem como de soluções de automação.
Dados, o petróleo  que lubrifica as engrenagens da máquina moderna. Mas, há um problema. As organizações estão lutando para obter insights de negócios com esse novo poder.

Em falta

No mercado, muitos clientes corporativos estão tentando construir equipes de ciência de dados muito grandes. Alguns estão tentando contratar centenas para lidar com a explosão de dados; com fontes que vão desde a entrada do cliente até dispositivos de IoT - este se tornará o canal principal.

Mas não é muito fácil, há uma enorme escassez de cientistas de dados.

Existem, como o Gartner cunhou, cientistas de dados cidadãos - uma pessoa que cria ou gera modelos que usam análises de diagnóstico avançadas ou recursos preditivos e prescritivos, mas cuja função principal está fora do campo de estatísticas e análises, mas eles fornecem um papel complementar para cientistas de dados especializados. Eles não substituem os especialistas, pois não possuem o conhecimento específico e avançado em ciência de dados para fazê-lo.

Mesmo com isso, muitas empresas estão realmente lutando para estabelecer uma equipe de ciência de dados cidadã, quanto mais uma equipe de cientistas de dados.

Ciência de dados

A ciência de dados é descrita como um campo multidisciplinar que usa métodos, processos, algoritmos e sistemas científicos para extrair conhecimento e insights de dados em várias formas, estruturadas e não estruturadas, semelhantes à mineração de dados.

Naturalmente, tem muitos componentes diferentes. Uma delas é o aprendizado de máquina, que é “a parte mais divertida da ciência de dados”, de acordo com Ryohei Fujimaki, CEO e fundador da dotData.

A verdadeira dor que as empresas enfrentam está no lado dos dados – construindo os conjuntos de dados para que estejam prontos para a aplicação da ciência de dados. Os dados são muito complexos e, quando coletados na empresa, não   armazenados para fins de aprendizado de máquina e ciência de dados. Ele é armazenado para fins comerciais; em gráficos, por exemplo.

As empresas precisam transformar esses dados de negócios no formato de aprendizado de máquina, chamado de “aprendizagem de recursos”, diz Fujimaki. “E basicamente temos que aplicar muito conhecimento de domínio para executar os dados.”

Então, neste clima, onde o talento é escasso, mas os dados continuam fluindo, é necessário automatizar o processo de ponta a ponta da ciência de dados; incluindo dados no pipeline de recursos.

Ganhar insights e impulsionar ações

O aprendizado de máquina pode prever, prever e identificar novos clientes e, em serviços financeiros, por exemplo, quem tem mais risco. Essa previsão* impulsiona a automação do processo de negócios. O core business é integrado ao sistema de negócios e aciona algumas ações de negócios automaticamente. Desta forma, existem muitas áreas para tornar um negócio muito mais eficiente.

Outro resultado muito importante do processo de aprendizado de máquina e ciência de dados são os insights de negócios. Os dados são muito complexos – e os especialistas do setor têm conhecimento e intuição de domínio – mas há muito conhecimento oculto por trás da enorme quantidade de dados que entram na empresa. O aprendizado de máquina ou o processo de ciência de dados geralmente pode descobrir algo desconhecido ou não visto ou inesperado, mesmo para um especialista.

Exemplo de dotData

A dotData trabalhou com um cliente bancário que aplicou sua plataforma para prever quem são os novos clientes que estariam interessados ​​em um produto do tipo empréstimo hipotecário. Eles primeiro pensaram que este produto atrairia os mais jovens. Mas, o que eles descobriram foi que um tipo muito diferente de cliente estava interessado nele, pessoas que eram um pouco mais velhas. Descobriu-se que essa demografia do cliente estava comprando este produto mais do que a demografia mais jovem prevista.

Esse tipo de percepção de novos negócios significava que o cliente poderia criar e projetar uma nova campanha promocional para esse segmento de clientes; ou podem projetar um novo produto com base nesse tipo de visão de negócios.

A automatização do processo de ciência de dados e aprendizado de máquina produziu novos insights de negócios a partir dos dados.

Os cientistas de dados sozinhos… não são bons o suficiente

Que tipo de conjunto de habilidades as empresas precisam para permitir que a ciência de dados extraia resultados de negócios significativos? A primeira coisa é o conhecimento matemático ou estatístico, mas, ao mesmo tempo, essas empresas precisam baixar dados muito grandes, em larga escala e complexos - eles precisam de engenharia de dados para isso.

“Além disso, usar os mesmos dados na solução de diferentes problemas de negócios requer conhecimento de domínio diferente”, diz Fujimaki.

Um bom cientista de dados precisa ter um forte conjunto de habilidades matemáticas e estatísticas, mas geralmente não possui habilidades de negócios e engenharia de dados.

A escassez de cientistas de dados é um obstáculo para qualquer projeto de ciência de dados bem-sucedido. Mas o problema é:os cientistas de dados sozinhos não são bons o suficiente para concluir um grande projeto complexo.

Projetos de ciência de dados bem-sucedidos precisarão de especialistas em domínio, engenheiros de design e cientistas de dados.

Uma grande parte do projeto de ciência de dados é a previsão* — ela precisa ser integrada ao sistema de negócios e gerar automaticamente muita manutenção digital. Isso significa que as empresas precisam de um engenheiro que entenda esse processo de ciência de dados e integre adequadamente esse processo de ciência de dados aos sistemas de negócios. Fujimaki chama esses tipos de pessoas de “talentos em ciência de dados”.

Um cientista de dados é parte integrante, mas há muito mais funções necessárias para concluir um projeto de ciência de dados.

Soluções, como dotData, ajudam a resolver esse problema e compartilham o esforço e preenchem as lacunas, automatizando a ciência de dados e o aprendizado de máquina.