A IoT e a computação em nuvem são o futuro dos dados?
Com uma estimativa de 29 bilhões de dispositivos conectados com previsão de operação em 2022 - e mais de 75 bilhões de dispositivos de Internet das Coisas (IoT) previstos para uso em 2025 em todo o mundo - a Internet das Coisas é uma consideração importante para empresas com visão de futuro.
A abundância de dispositivos IoT atualmente em uso oferece às empresas grandes quantidades de dados que podem ser usados para criar insights poderosos e isso só deve crescer nos próximos anos, diz Shivnath Babu, diretor de tecnologia da Unravel Data . No entanto, à medida que as empresas implantam um número cada vez maior de dispositivos inteligentes e a quantidade de dados gerados aumenta, os sistemas de nuvem centralizados desempenharão um papel fundamental para garantir que esses insights sejam utilizados de maneira inteligente. Como tal, a proliferação de IoT propõe desafios consideráveis de DataOps.
Dificuldades no manuseio de dados
Com um grande número de dispositivos IoT, vêm grandes quantidades e tipos de dados. Por exemplo, os dispositivos IoT podem fornecer tipos de dados tão variados como:vendas ao cliente, milhas percorridas, coordenadas GPS, umidade, número de pessoas presentes, velocidade do veículo, temperatura e qualidade do ar. Muitas empresas estão tendo dificuldade em lidar com a complexidade e a quantidade absoluta de dados criados pela IoT e estão descobrindo que seus pipelines de dados estão se tornando ineficientes. Para serviços baseados em aplicativos que dependem de streaming em tempo real, esse é um problema significativo.
Para esse fim, aplicativos de streaming personalizados em tempo real como Kafka, Spark, Kudu, Flink ou HBase são necessários para gerenciar os pesados requisitos de big data de serviços modernos entregues em nuvem. Dito isso, a análise de dados de tráfego de streaming e a geração de recursos estatísticos requerem métodos de monitoramento complexos e que consomem recursos.
Embora os analistas possam aplicar vários métodos de detecção simultaneamente aos dados recebidos, isso inevitavelmente resulta em complexidade e desafios de desempenho. Este é especialmente o caso quando os aplicativos abrangem vários sistemas (por exemplo, interagindo com o Spark para computação, com YARN para alocação e programação de recursos, com HDFS ou S3 para acesso a dados ou com Kafka ou Flink para streaming). Essas implantações podem se tornar ainda mais complexas se contiverem programas independentes definidos pelo usuário, como pré-processamento de dados repetidos ou geração de recursos comuns em vários aplicativos.
Crescimento explosivo da IoT
Para criar a infraestrutura de nuvem necessária para sustentar o crescimento explosivo dos dispositivos IoT, as ferramentas e processos atuais de gerenciamento de dados não estão à altura da tarefa. Para gerenciar o desafio apresentado por extensos dispositivos de IoT, muitas empresas estão começando a reconhecer a necessidade de integrações de IA ou ML.
Essas integrações aumentam as capacidades das equipes de dados em dar sentido a todos esses dados, permitindo operações de dados inteligentes que reduzem a carga de classificação manual dos dados. Isso ajuda os dados a serem roteados para o lugar certo com mais rapidez, acompanhar as necessidades de negócios e sustentar o elemento em tempo real de seus dataops.
Freqüentemente, nesses cenários, o aplicativo de streaming pode ficar para trás no processamento de dados em tempo real e determinar a causa raiz pode ser um desafio complicado para um sistema tão complexo. Dessa forma, uma implantação de dados que depende de aprendizado de máquina e inteligência artificial (IA) tem muito mais probabilidade de fornecer o desempenho, a previsibilidade e a confiabilidade necessários em comparação com as alternativas.
Para permitir a coleta eficiente e contínua de dados de dispositivos IoT, os algoritmos de aprendizado de máquina têm se mostrado essenciais para permitir o escrutínio da execução do aplicativo, identificar a causa da falha potencial e gerar recomendações para melhorar o desempenho e o uso de recursos. Outro benefício importante é que a implementação de tais processos permite que as organizações desfrutem de custos mais baixos e maior confiabilidade.
Considere cada caso de uso
Como tal, é fundamental considerar cada caso de uso individual e ver para qual desafio específico da IoT ele está fornecendo uma resposta. Ao entender primeiro o ambiente e os problemas que ele apresenta para sua respectiva organização, as equipes de TI podem agilizar o caminho para a implementação das soluções necessárias. Quer seja aprendizado de máquina ou IA, a entrega de uma implantação baseada em IoT depende do aumento da equipe de dados com automação para gerenciar a complexidade que surge.
O autor é Shivnath Babu, diretor de tecnologia da Unravel Data.
Como obter uma integração suave e eficaz do dispositivo por meio de um aplicativo móvel
Falha ao preparar, prepare-se para falhar
Tecnologia da Internet das Coisas
- Quais são os melhores cursos de computação em nuvem?
- Big Data e computação em nuvem:uma combinação perfeita
- Nuvem e como ela está mudando o mundo da TI
- Qual é a relação entre big data e computação em nuvem?
- Uso de Big Data e computação em nuvem nos negócios
- Por que o futuro da segurança de dados na nuvem é programável
- Como os provedores de nuvem estão mudando a perspectiva do gerenciamento de dados e análises de IoT
- Aproveitamento de dados IoT da borda para a nuvem e vice-versa
- Democratizando a IoT
- O futuro da integração de dados em 2022 e além