Os 3 principais desafios da preparação de dados IoT

Sean Kandel da Trifacta
A Internet das Coisas (IoT) já está arraigada em nossa vida cotidiana - desde vestíveis e relógios inteligentes até TVs conectadas e eletrodomésticos inteligentes.

As empresas também estão utilizando a tecnologia; em um contexto B2B, diz Sean Kandel, CTO e cofundador da Trifacta , dispositivos conectados referem-se a máquinas e sensores que são usados ​​para rastrear tudo, desde o desempenho da máquina até os requisitos de manutenção.

Por exemplo, dispositivos sensores podem ser encontrados em uma linha de produção para rastrear a prontidão das máquinas e automatizar a manutenção preditiva . Ou um hospital pode usar dispositivos IoT para monitoramento remoto de pacientes, cirurgia robótica ou dispensação de medicamentos.

Todos esses sensores, dispositivos e outras "coisas" conectadas em crescimento significam, em última análise, mais dados. E muito disso. Porém, com mais dados, surgem desafios mais complexos para prepará-los. Para aproveitar o valor da IoT e do big data - e fornecer insights que impulsionam a inovação - as organizações industriais devem preparar rapidamente todos esses dados díspares e não estruturados. Abaixo, mencionamos alguns dos três principais desafios na preparação de dados de IoT para aproveitá-los para análise.

1 Enormes volumes de dados

International Data Corporation (IDC) pesquisas de mercado estimam que os dispositivos IoT criarão 40.000 exabytes de dados até 2020. Para manter isso em perspectiva, no ano de 2000, três exabytes de informações foram criados globalmente. São muitos dados para preparar - e sob muitos processos atuais, as organizações não serão capazes de acompanhar. Isso é particularmente desafiador no mundo industrial, onde os fabricantes e outras grandes organizações industriais geralmente coletam bilhões de conjuntos de dados de máquinas, sensores e aplicativos de negócios internos.

A preparação de dados ainda é responsável por até 80% do tempo e dos recursos envolvidos em qualquer projeto de dados e, quanto mais dados você adicionar, mais demorado será o processo. À medida que as organizações assumem novas iniciativas de dados de IoT, é importante que considerem novas tecnologias e processos que lhes permitirão acompanhar esse grande fluxo de dados.

2. Complexidade

Outro desafio na preparação de dados de IoT é sua natureza complexa. Freqüentemente, as organizações não devem apenas preparar dados de carimbo de data / hora ou geotag, mas combiná-los com fontes mais estruturadas, como arquivos csv. Essa complexidade só é multiplicada ao levar em consideração a taxa na qual esses dados estão sendo gerados.

Encontrar uma solução para esse problema é complicado. Os recursos técnicos dentro de uma organização que poderiam lidar com essa complexidade são normalmente limitados e escalar esses recursos é caro. O uso de ferramentas comuns de preparação de dados, como o Excel, não consegue lidar com essa complexidade, o que deixa os analistas qualificados impedidos de trabalhar com esses dados. As organizações de hoje devem descobrir uma maneira de aproveitar os recursos de que dispõem para preparar os dados cada vez mais complexos da IoT.

3. Interoperabilidade

Os sistemas de computador da empresa - hardware e software - não são feitos para trocar ou processar as grandes quantidades de informações complexas extraídas de sensores e dispositivos conectados. É difícil integrar e enriquecer rapidamente os dados gerados por máquina com dados de aplicativos de negócios, como Salesforce e Marketo, por exemplo, e outros repositórios de dados. Portanto, as organizações de hoje devem buscar soluções que melhor permitam que os dados conversem entre si, para que todos os dados de uma organização possam ser aproveitados.

Plataformas de preparação de dados para iniciativas de IoT

Muitas organizações que estão liderando iniciativas de IoT optaram por plataformas modernas de preparação de dados para aliviar esses desafios. Com uma plataforma de preparação de dados inteligente, alguns dos clientes da Trifacta viram o tempo gasto na preparação de dados reduzido em até 90%, permitindo também que recursos não técnicos preparassem eles próprios grandes quantidades de dados complexos. Além disso, temos uma parceria com a Sumo Logic para oferecer aos clientes uma solução para preparar dados de log complexos com dados de aplicativos de negócios.

Por exemplo, uma grande empresa ferroviária europeia está usando o Trifacta para preparar dados de sensores gerados a partir do monitoramento de 8.000 locomotivas em 32.000 milhas de trilhos, a fim de prever quando elas necessitarão de manutenção. Antes de adotar a Trifacta, a empresa estava preparando esses dados ad-hoc para várias pessoas e com muitas ferramentas diferentes, o que acabou atrasando a análise e sua capacidade de resposta aos reparos necessários. Agora, esta empresa pode preparar 100% dos dados de sensores complexos e diminuiu rapidamente o tempo gasto na preparação de dados.

Outro cliente, Kuecker Logistics Group (KLG) , está usando a plataforma Trifacta para preparar uma infinidade de dados de sensores gerados a partir de armazéns pertencentes aos maiores varejistas do mundo. Esses clientes têm operações extensas e complexas da cadeia de suprimentos e um elo defeituoso ou ineficiente na cadeia pode causar um efeito cascata rio abaixo.

Usando uma plataforma de preparação de dados inteligente, Kuecker conseguiu escalar os processos de preparação de dados sem contratar desenvolvedores caros, o que melhorou drasticamente sua eficiência. Agora, eles estão preparando os dados do armazém do cliente e identificando mais rapidamente as mudanças necessárias que precisam ser feitas nos depósitos.

Conclusão

Os dados de IoT são uma oportunidade empolgante, mas seus benefícios só podem ser obtidos com uma estratégia de preparação de dados adequada em vigor. As organizações devem equipar sua equipe com plataformas de preparação de dados que possam lidar com o volume e a complexidade dos dados de IoT, bem como compreender como esses dados podem e serão agregados a outras fontes em toda a organização. Ao adotar soluções de preparação de dados inteligentes, o universo da IoT e do big data não é mais opressor. Os dados do sensor tornam-se a chave para a inovação, não um impedimento para ela.

O autor é Sean Kandel, CTO e cofundador, Trifacta.