Como começar a incorporar o aprendizado de máquina na área empresarial

O mundo já passou da Revolução Industrial e agora vivemos uma era de Revolução Digital. Aprendizado de máquina, inteligência artificial e análise de big data são a realidade do mundo de hoje.

Recentemente, tive a oportunidade de conversar com Ciaran Dynes, vice-presidente sênior de produtos da Talend e Justin Mullen, diretor administrativo da Datalytyx. Talend é um fornecedor de integração de software que fornece soluções de Big Data para empresas, e Datalytyx é um fornecedor líder de engenharia de big data, análise de dados e soluções em nuvem, permitindo tomadas de decisão mais rápidas, eficazes e lucrativas em toda a empresa.

A evolução das operações de big data

Para entender mais sobre a evolução das operações de big data, perguntei a Justin Mullen sobre os desafios que sua empresa enfrentou cinco anos atrás e por que eles estavam procurando plataformas de integração modernas. Ele respondeu com:“Enfrentamos desafios semelhantes aos que nossos clientes estavam enfrentando. Antes da análise de Big Data, era o que chamo

Ele respondeu com:“Enfrentamos desafios semelhantes aos que nossos clientes estavam enfrentando. Antes da análise de Big Data, era o que chamo de ‘Análise de dados difíceis’ . Havia muita agregação manual e processamento de dados principalmente de sistemas locais. E então, o maior desafio que provavelmente enfrentamos foi centralizar e confiar nos dados antes de aplicar os diferentes algoritmos analíticos disponíveis para analisar os dados brutos e visualizar os resultados de maneiras significativas para o negócio entender. ”



Ele acrescentou ainda que, “Nossos clientes não queriam apenas esta análise uma vez, mas eles queriam atualizações contínuas de atualizações sobre o desempenho de KPI ao longo de meses e anos. Com as práticas manuais de engenharia de dados, era muito difícil para nós atender aos requisitos de nossos clientes, e foi então que decidimos que precisávamos de uma plataforma de gerenciamento de dados robusta e confiável que resolvesse esses desafios ”.

O advento da ciência de dados

A maioria dos economistas e cientistas sociais está preocupada com a automação que está assumindo os processos de manufatura e comerciais. Se a digitalização e a automação continuarem a crescer no mesmo ritmo que estão acontecendo atualmente, há uma grande probabilidade de as máquinas substituírem parcialmente os humanos na força de trabalho. Estamos vendo alguns exemplos do fenômeno em nosso mundo hoje, mas prevê-se que será muito mais proeminente no futuro.

No entanto, Dynes diz:“Os cientistas de dados estão fornecendo soluções para problemas intrincados e complexos enfrentados por vários setores hoje. Eles estão utilizando informações úteis da análise de dados para compreender e consertar as coisas. A ciência de dados é uma entrada e a saída é gerada na forma de automação. As máquinas automatizam, mas os humanos fornecem a entrada necessária para obter a saída desejada. ”

Isso cria um equilíbrio na demanda por serviços humanos e de máquina. Tanto a automação quanto a ciência de dados caminham em paralelo. Um processo está incompleto sem o outro. Os dados brutos não valem nada se não puderem ser manipulados para produzir resultados significativos e, da mesma forma, o aprendizado de máquina não pode acontecer sem dados suficientes e relevantes.

Incorporação de big data em modelos de negócios

Dynes afirma:“As empresas estão percebendo a importância dos dados e incorporando soluções de Big Data e Machine Learning em seus modelos de negócios”. Ele ainda acrescenta que, “Vemos a automação acontecendo ao nosso redor. É evidente nos setores de comércio eletrônico e manufatura, e tem vastas aplicações em serviços bancários e financeiros móveis. ”



Quando lhe perguntei sobre a sua opinião sobre a transformação da demanda de processos e plataformas de aprendizado de máquina, ele acrescentou que “A demanda sempre existiu. A análise de dados foi tão útil há cinco anos quanto agora. A única diferença é que há cinco anos havia monopólio empresarial e os dados eram armazenados secretamente. Quem quer que tivesse os dados, tinha o poder, e havia apenas alguns participantes proeminentes do mercado que tinham acesso aos dados ”.

Justin trabalhou com diferentes empresas. Alguns de seus clientes mais importantes foram Calor Gas, Jaeger e Wejo. Ao falar sobre os desafios que essas empresas enfrentaram antes de implementar análises avançadas ou aprendizado de máquina, ele disse:"Os maiores desafios que a maioria dos meus clientes enfrentam foi o acúmulo de dados essenciais em um lugar para que os algoritmos complexos possam ser executados simultaneamente, mas os resultados podem ser visualizado em um só lugar para uma melhor análise. O encanamento de dados e os pipelines de dados foram essenciais para permitir que os insights de dados se tornassem contínuos, em vez de únicos. ”

As razões para a digitalização rápida

Dynes afirma:“Estamos passando por uma digitalização rápida por dois motivos principais. A tecnologia evoluiu a uma taxa exponencial nos últimos dois anos e, em segundo lugar, a cultura organizacional evoluiu enormemente. ” Ele acrescenta:“Com o advento das tecnologias de código aberto e plataformas em nuvem, os dados agora estão mais acessíveis. Agora, mais pessoas têm acesso às informações e estão usando essas informações em seu benefício ”.

Além dos avanços e desenvolvimentos na tecnologia, “a nova geração que está entrando na força de trabalho também depende da tecnologia. Eles dependem muito da tecnologia para suas tarefas rotineiras do dia a dia. Eles estão mais abertos à comunicação transparente. Portanto, é mais fácil coletar dados dessa geração, pois eles estão prontos para falar sobre suas opiniões e preferências. Eles estão prontos para fazer e responder a perguntas impossíveis ”, diz Dynes.

Ao falar sobre os desafios que as empresas enfrentam ao optar por soluções de análise de Big Data, Mullen acrescenta:“Os desafios enfrentados atualmente pela indústria ao empregar o aprendizado de máquina são duplos. O primeiro desafio que eles enfrentam está relacionado à coleta de dados, ingestão de dados, curadoria de dados (qualidade) e, em seguida, agregação de dados. O segundo desafio é combater a falta de habilidades humanas em engenharia de dados, análises avançadas e aprendizado de máquina ”

Dynes diz:“Você precisa integrar um novo mundo com o velho. O velho mundo dependia muito da coleta de dados, enquanto o novo mundo se concentrava principalmente nas soluções de dados. Existem soluções limitadas na indústria hoje que atendem a esses dois requisitos ao mesmo tempo. ”



Ele conclui dizendo que, “A importância da engenharia de dados não pode ser negligenciada, e o aprendizado de máquina é como a caixa de Pandora. Suas aplicações são amplamente vistas em muitos setores e, uma vez que você se estabeleça como um provedor de qualidade, as empresas virão até você pelos seus serviços. O que é uma boa coisa."

Siga Ciaran Dynes, Justin Mullen e Ronald van Loon no Twitter e LinkedIn para obter mais atualizações interessantes sobre soluções de Big Data e aprendizado de máquina.