Fazendo os dados de IoT trabalharem para sua empresa

Adam Mayer da Qlik
Houve um tempo em que você não podia escapar da discussão em torno da Internet de Todas as Coisas (IoE), que por si só parecia um símbolo da jornada que inevitavelmente faríamos com a Internet das Coisas (IoT).

Nossa reação imediata ao descobrir uma nova tecnologia é mais, mais, mais, diz Adam Mayer, gerente sênior da Qlik sem necessariamente garantir que estamos aproveitando ao máximo o que já temos. Consequentemente, as organizações foram incentivadas a colocar sensores em todas as luzes, portas e banheiros antes de começarem a ver o retorno do investimento.

Esta é uma jornada semelhante percorrida por muitos dos primeiros a adotar Big Data; levou tempo para entender que ter mais dados não se traduzia necessariamente em melhores resultados, sem melhores maneiras de visualizá-los e analisá-los. Sequencialmente, as organizações estão percebendo que o maior potencial para a IoT está em como os dados produzidos por esses dispositivos podem ser explorados e sondados para fornecer aprendizado e melhorar os resultados.

O Projeto Breathe London, que nosso parceiro C40 Cities está executando com a Greater London Authority, é um exemplo disso. Como parte de uma investigação sobre a exposição dos londrinos à poluição do ar, uma rede de 100 pods de sensores foi instalada em postes e edifícios em toda a cidade, enquanto os carros do Google Street View usavam sensores móveis para transmitir continuamente medições da qualidade do ar em Londres.

Embora a informação seja, sem dúvida, interessante, o valor do projeto não é a coleta e representação de dados, mas nas decisões políticas que serão tomadas para reduzir os ‘pontos de aquecimento’ de poluição que esses sensores irão identificar.

Barreiras para analisar dados de IoT

No entanto, para muitas organizações, é mais fácil falar do que fazer. Existem desafios significativos associados à integração de dados de IoT para análise.

Em primeiro lugar, as organizações devem superar a integração de uma variedade de dados de diferentes fontes em seu pipeline de dados. Pesquisa da Qlik com IDC revelou que a integração de dados díspares em formatos padrão é um dos maiores desafios que as organizações enfrentam ao transformar dados em uma forma analítica (37%).

A introdução da IoT exacerba significativamente esse desafio, pois pode multiplicar rapidamente o número de fontes de dados que alimentam o pipeline, muitas vezes em formatos desconhecidos ou não estruturados que devem ser transformados antes de serem preparados para análise.

O problema é ainda mais agravado pelo segundo desafio, os altos volumes e a alta velocidade de transferência. Com muitos dispositivos IoT fazendo leituras contínuas, os dados são produzidos em quantidades muito maiores do que a maioria. Isso, então, naturalmente chega ao obstáculo final, que mesmo se o pipeline de dados for robusto o suficiente para ingerir e transformar o fluxo de dados contínuo de dispositivos IoT, muitas soluções de visualização e análise não são capazes de fornecer atualizações de informações em tempo real.

Isso significa que, quer o gargalo seja com o software ou causado pelo tempo decorrido entre a revisão do produto pelo usuário, o aprendizado dos dados só pode ser implementado retrospectivamente - não em tempo real.

Acompanhando o ritmo dos dados

As organizações que desejam aproveitar as vantagens da IoT podem superar esses desafios criando uma cadeia de suprimentos de dados que pode integrar e transformar rapidamente os dados de uma infinidade de fontes diferentes.

Métodos tradicionais orientados a lote, como Extract, Transform and Load (ETL) - são muito lentos, ineficientes e disruptivos para integrar e dar suporte à análise oportuna de dados de IoT e geralmente requerem codificação pesada e scripts profundos. Com 31% das organizações globais citando "a falta de recursos qualificados para processar dados" como um dos maiores desafios para preparar a análise de dados, é fundamental para o sucesso das implementações de IoT que as organizações reduzam o dreno significativo de tempo de programadores qualificados.

A tecnologia Change Data Capture (CDC) apresenta uma alternativa inteligente alcançável para aqueles que desejam processar rapidamente seus dados de IoT para análise. Em vez de carregar dados em fontes diferentes, o CDC permite a replicação incremental contínua, identificando e copiando as atualizações de dados à medida que ocorrem. O streaming de dados dessa forma aumenta significativamente a velocidade com que os dados podem ser ingeridos e transferidos para os data warehouses ou data lakes para análise.

Finalmente, quando o pipeline de dados pode integrar dados em tempo quase real, é importante que as soluções de análise sejam capazes não apenas de visualizar continuamente informações atualizadas, mas que uma camada de proatividade seja incorporada para apoiar a tomada de decisão processo. Os alertas em tempo real fornecem não apenas insights, mas também podem recomendar ações para os usuários dispararem rapidamente. Aproveitar os mecanismos cognitivos para fornecer essa inteligência ativa será um recurso-chave da próxima geração de ferramentas de BI.

Um pipeline de dados para cumprir a promessa da IoT

As organizações devem garantir que não caiam na mesma armadilha com a IoT como muitas caíram nos primeiros dias do Big Data, onde o objetivo de ter mais dados tinha precedência sobre o uso do que tinham para gerar os melhores resultados. Olhando para os primeiros a adotar a IoT, muitos estão mais focados em receber atualizações em tempo real do que em tomar as medidas necessárias para transformar e analisar sua saída para capacitar uma melhor tomada de decisão.

A promessa da IoT é a oportunidade de aprender, agir e reagir continuamente. Para garantir que as implementações de IoT nas organizações tenham velocidade e flexibilidade para oferecer suporte a análises avançadas, elas devem primeiro garantir que todo o pipeline de dados esteja pronto para a tarefa

O autor é Adam Mayer, gerente sênior da Qlik.