Integrar Machine Learning nas Operações Enterprise: Guia Prático

O mundo moveu-se além da Revolução Industrial para a Era Digital, onde machine learning, inteligência artificial e analytics de big data moldam o negócio quotidiano.

Falei recentemente com Ciaran Dynes, Senior Vice President of Products na Talend, e Justin Mullen, Managing Director na Datalytyx. A Talend entrega integração de dados enterprise-grade e soluções big data, enquanto a Datalytyx especializa-se em engenharia de dados, analytics e serviços cloud que aceleram tomada de decisão rentável.

A evolução das operações big-data

Para compreender a transformação, perguntei a Mullen sobre obstáculos que a sua firma enfrentou há cinco anos e por que uma plataforma de integração moderna se tornou essencial. Ele explicou: "Encontrámos os mesmos obstáculos que os nossos clientes. Antes de big-data analytics, era o que chamo 'Difficult Data analytics'. Tínhamos de agregar e processar manualmente dados de sistemas largely on-premise, e o maior desafio era centralizar e confiar nos dados antes de aplicar quaisquer algoritmos analíticos ou visualizar resultados para stakeholders de negócio."

Mullen adicionou: "Clientes queriam não apenas análise one-time mas refreshes contínuos de KPIs ao longo de meses e anos. Engenharia de dados manual tornava isso impossível, então percebemos que precisávamos de uma plataforma robusta e confiável que resolvesse estes pain points."

O advento da data science

Economistas e cientistas sociais avisam que automação substituirá cada vez mais papéis rotineiros. No entanto, como Dynes aponta, "Data scientists abordam problemas complexos em todas as indústrias, transformando dados brutos em insights acionáveis que permitem automação. Máquinas executam o trabalho, mas humanos guiam o processo para entregar resultados significativos."

Esta sinergia cria procura equilibrada por tanto expertise humana como capacidade de máquina. Dados brutos sozinhos são inúteis sem processamento, e machine learning não pode prosperar sem dados relevantes e de alta qualidade.

Incorporar big data em modelos de negócio

Dynes nota: "Empresas estão a reconhecer o valor estratégico dos dados e a tecer soluções big-data e machine-learning nos seus modelos centrais." Adiciona: "Automação já é evidente em e-commerce, manufatura, banca móvel e finanças, e o seu potencial só cresce."

Questionado sobre a procura evolutiva para plataformas de machine-learning, Dynes disse: "A necessidade sempre existiu. Há cinco anos, dados eram acumulados por poucos players; hoje, ferramentas open-source e infraestrutura cloud tornam dados mais acessíveis, nivelando o campo."

Justin fez parceria com empresas como Calor Gas, Jaeger e Wejo. Explicou: "O desafio mais difícil para muitos clientes era consolidar dados essenciais num único local para que algoritmos complexos pudessem correr simultaneamente, enquanto entregavam resultados consolidados para análise mais profunda. Construir pipelines de dados resilientes foi chave para transformar insights esporádicos em valor contínuo."

Razões para digitalização rápida

Dynes atribui o surge a duas forças: "Primeiro, tecnologia evoluiu a ritmo exponencial; segundo, cultura organizacional mudou dramaticamente." Elabora: "Open-source e plataformas cloud democratizaram acesso a dados. Nova geração de trabalhadores, profundamente tech-savvy, exige transparência e informação em tempo real, tornando recolha de dados mais fácil e insightful."

Mullen destaca dois desafios primários que empresas enfrentam hoje: "Primeiro, recolha, ingestão, curadoria e agregação de dados permanecem assustadores. Segundo, há gap de talento em engenharia de dados, analytics avançado e expertise machine-learning."

Dynes conclui: "Fazer a ponte entre mundos legacy e modernos é essencial. Enquanto o modelo antigo dependia de recolha manual de dados, o novo foca-se em soluções de dados end-to-end. Poucos vendors hoje satisfazem ambas as exigências simultaneamente. A importância de engenharia de dados não pode ser subestimada; machine learning é como a Caixa de Pandora — as suas aplicações abrangem todos os setores, e uma vez estabelecido como provider de qualidade, negócios procurarão a sua expertise."

Siga Ciaran Dynes, Justin Mullen e Ronald van Loon no Twitter e LinkedIn para mais insights em soluções big-data e tendências machine-learning.