Dados não estruturados:o custo oculto para as indústrias – como transformá-los em valor

Em todos os setores, os engenheiros e cientistas de dados procuram aproveitar melhor os dados ocultos em compartilhamentos de arquivos e bloqueados em diferentes sistemas. Eles precisam desses dados para criar fluxos de trabalho para ferramentas de IA e análise, para que possam aprender mais sobre seus mercados, criar novos produtos e serviços ou melhorar as operações comerciais e o relacionamento com os clientes.

O outro lado dessa equação é que os dados corporativos trazem um amplo risco que não é bem compreendido pelos negócios, nem mesmo pela TI. Por exemplo:

• O armazenamento de dados e os backups representam pelo menos 30% da maioria dos orçamentos de TI quando é necessário gastar dinheiro em inovação, segurança cibernética e ótimas experiências do cliente;
• A maioria dos dados não estruturados não é aproveitada para gerar valor comercial;
• Uma grande porcentagem de dados não estruturados, até 80%, raramente é usada e ocupa espaço de armazenamento caro;
• Muitas organizações não têm políticas claras de retenção e exclusão, nem realizam exercícios regulares de limpeza de seus dados, temendo que os departamentos possam reagir. Os dados duplicados por si só podem facilmente constituir 30 a 40% da pegada média de dados empresariais;
• Estações de dados não estruturados não gerenciados e desconhecidos em silos de TI híbrida criam riscos adicionais de segurança e conformidade.

Aqui está uma olhada em vários setores e seus requisitos e desafios de gerenciamento de dados, extraídos de nossos anos de trabalho com clientes em estratégias de gerenciamento de dados não estruturados.

Saúde:cortando custos sem cortar o acesso a dados vitais  

A saúde é uma fera de dados. Segundo algumas estimativas, as organizações de saúde são os maiores produtores mundiais de dados, impulsionadas em grande parte pelo volume de uma variedade de imagens clínicas e dados de máquina. A contenção de custos é e sempre foi uma exigência terrível na área da saúde, e ainda mais agora com as mudanças no reembolso do Medicare. As organizações de saúde também enfrentam regulamentações rígidas de retenção de dados e dificuldades em excluí-los devido a requisitos legais e de pesquisa. 

Um sistema de saúde líder, que gerencia mais de 16 PB de armazenamento NAS, recorreu ao gerenciamento de dados não estruturados para analisar e arquivar dados frios no Azure Blob, reduzindo a pressão sobre seus sistemas de armazenamento primários. Sem interromper os usuários, a organização de TI movimentou mais de 2 PB de dados, ajudando a atrasar atualizações caras de hardware. 

Para organizações com requisitos de cadeia de custódia, comuns em setores regulamentados como o de saúde, a visibilidade da localização dos arquivos e dos metadados é fundamental. Por fim, como a conformidade é uma necessidade sempre presente, dada a alta sensibilidade em torno dos dados dos pacientes, a visibilidade, a pesquisa e a auditoria completas dos dados não estruturados proporcionam aos diretores de TI de saúde maior controle para reduzir os riscos.

Ciências Biológicas:Transformando o Caos de Dados em Aceleração da Pesquisa

As organizações de Ciências da Vida também são um dos maiores setores produtores de dados. Freqüentemente, eles lidam com milhões de arquivos pequenos, mas de alto valor, explosões imprevisíveis de dados e a necessidade de retenção de longo prazo sem políticas de exclusão claras. Esses fatores complicam o planejamento da infraestrutura de TI.

Nos laboratórios biofarmacêuticos e de biotecnologia, a explosão de arquivos de imagens TIF de instrumentos científicos cria desafios adicionais. Em um exemplo, uma empresa fez a transição de dados de pesquisa armazenados localmente para um array NAS centralizado. Para acompanhar o rápido crescimento, a equipe de TI implantou camadas de nuvem no Azure e usou a análise de dados para identificar e mover dados obsoletos. Isso evitou o provisionamento excessivo e ajudou a TI a dar suporte aos pipelines de pesquisa sem gargalos. 

As equipes de TI corporativas normalmente não conseguem ver informações sobre seus dados armazenados em um só lugar, disse Anthony Fiore, especialista em soluções de armazenamento da AWS. A visibilidade detalhada, fornecida pelo software de gerenciamento de dados, é empolgante para o pessoal de TI em ciências biológicas e outros setores:"Temos clientes com compartilhamentos NAS que contêm muitos silos de dados em um único compartilhamento, e é difícil saber como eles podem dividi-los por linha de negócios ou se eles se importam com esses dados. Mas, uma vez que veem todos os metadados, eles entendem melhor como tudo funciona e, então, podem marcá-los e pesquisá-los mais tarde".

Serviços financeiros:elimine riscos e potencialize a IA com dados limpos e governados

As instituições financeiras operam sob restrições regulatórias rigorosas (por exemplo, SEC, FINRA, GDPR) e são frequentemente sobrecarregadas por décadas de crescimento da partilha de ficheiros. A dispersão de dados, o controle descentralizado de TI e a conformidade tornam o gerenciamento de dados baseados em arquivos extremamente complexo. Além disso, as instituições financeiras devem garantir que os modelos de IA utilizados para risco de crédito, detecção de fraude ou negociação sejam governados de forma adequada e livres de preconceitos e dados desatualizados. Ter uma maneira sistemática de compreender, limpar, classificar dados e criar fluxos de trabalho de dados de IA seguros e monitorados é um requisito crescente. 

Para uma empresa de seguros multinacional, a mudança para o Azure envolveu não apenas economia de custos, mas também modernização, análise e prontidão para IA. Eles usaram gerenciamento de dados não estruturados para reduzir as necessidades de capacidade em armazenamento primário caro no data center, estratificando mais de 600 TB para armazenamento em nuvem de objetos de custo mais baixo. Eles também usam ferramentas baseadas em nuvem para desenvolver produtos de seguros aprimorados por IA, com dados não estruturados formando uma parte crítica desses modelos preditivos. A capacidade de classificar e segmentar dados não estruturados antes da ingestão de IA é fundamental para gerenciar custos e fornecer resultados precisos.

Veja também: Escapando da armadilha do armazenamento de dados com inteligência visual em tempo real

Governo estadual e local:prolongar a vida útil da infraestrutura e fortalecer a supervisão de dados

As organizações de TI do setor público tendem a ter infraestruturas obsoletas e uma percentagem mais elevada de aplicações legadas do que o setor privado. Eles querem se modernizar, mas os orçamentos geralmente são apertados e a adoção da nuvem é mínima devido às políticas de segurança, juntamente com mandatos legais que exigem a retenção de dados sem caminhos de exclusão claros. Os líderes de TI precisam equilibrar a prestação de serviços com requisitos rigorosos de conformidade. 

Para agências estaduais, arquivar arquivos na nuvem ajuda a reduzir a dependência de hardware antigo. A visibilidade das datas da última modificação/acesso permite que a TI mova apenas dados raramente acessados ​​do armazenamento de alto desempenho. Ao mesmo tempo, a integração de sistemas de armazenamento e gerenciamento de dados com ferramentas de segurança e conformidade é fundamental para garantir acesso seguro e auditável. Embora a adoção de níveis de dados permaneça cautelosa, muitas agências estão usando relatórios para defender políticas de ciclo de vida de dados não estruturados, especialmente em torno de dados departamentais estagnados.

Engenharia e Arquitetura:Ganhe Mais Projetos Desbloqueando o Valor Oculto dos Dados

Empresas de engenharia e design geram dados não estruturados em grande escala, especialmente a partir de arquivos CAD, GIS e de modelagem 3D. Esses arquivos são grandes e difíceis de gerenciar, especialmente entre equipes distribuídas e sistemas herdados de atividades de fusões e aquisições. Essas empresas precisam preservar os dados históricos do projeto para referência, responsabilidade e reutilização. Uma empresa global, que gerencia mais de 6 PB, usa gerenciamento de dados não estruturados para identificar e mover arquivos de projetos com mais de três anos para um arquivo Cloudian, com backup no Azure. Isso preserva o desempenho em arrays HPE ativos, mantendo a acessibilidade. Em um caso, consultas em seus armazenamentos de dados de arquivos ajudaram a localizar rapidamente dados de testes de solo para um projeto em uma área propensa a terremotos, economizando tempo e apoiando um projeto de infraestrutura crítica.

À medida que continuam a integrar aquisições, a empresa utiliza análises para avaliar servidores de arquivos recém-herdados. Essa visibilidade permite que eles priorizem o que reter, migrar ou arquivar. Seu objetivo é eventualmente indexar todos os dados não estruturados, permitindo a modelagem baseada em IA e reduzindo os silos de conhecimento nas unidades de negócios.

Energia:melhore a eficiência e a conformidade em campo com dados centralizados

Essas empresas enfrentam restrições de locais remotos, largura de banda variável, conformidade com regulamentações operacionais e de segurança internacionais e uma necessidade crescente de oferecer suporte a diagnósticos remotos baseados em dados e gêmeos digitais.

Em uma empresa, a decisão de adotar o gerenciamento de dados não estruturados surgiu da necessidade de descontinuar o armazenamento de borda em centenas de locais remotos. Com o acúmulo de registros de vídeo, desenhos e registros de manutenção offshore, eles começaram a arquivar dados frios no Azure para centralizar e controlar seus dados não estruturados.

Com os modelos de estorno em vigor, os insights dos dados dos arquivos tornaram-se cruciais para a responsabilidade departamental. O objetivo de longo prazo é apoiar fluxos de trabalho de dados de pesquisa e inspeção, como imagens subaquáticas de ROV, em ambientes prontos para IA para manutenção preditiva e conformidade. 

Semicondutores / Manufatura:Proteja a propriedade intelectual e reduza o espaço de armazenamento caro

As empresas de semicondutores devem proteger IP de alto valor, gerenciar dados distribuídos globalmente e aderir a rigorosos controles de exportação e requisitos de segurança, garantindo ao mesmo tempo que os engenheiros tenham acesso de alto desempenho a conjuntos de dados ativos.

Um fabricante global de semicondutores utiliza equipamento de digitalização altamente especializado que gera grandes quantidades de dados de imagem proprietários. Com 97% dos dados ainda armazenados no local, eles precisavam de um método eficiente para arquivar dados de verificação mais antigos sem comprometer a proteção IP ou o desempenho de recuperação. Ao combinar o gerenciamento de dados não estruturados com o armazenamento Cloudian S3, eles implementaram políticas de dados frios para mover quaisquer arquivos não acessados ​​em 12 meses para fora dos servidores primários. Com preservação de link simbólico e rastreamento de metadados, a empresa garantiu a conformidade com protocolos internos de manipulação de IP e reduziu a dependência de NAS primários caros.

Conclusão:Transforme dados não estruturados em um ativo estratégico de negócios

Em todos os setores, o gerenciamento de dados não estruturados não é mais apenas uma tática de redução de custos, mas um facilitador estratégico. Seja apoiando fluxos de trabalho de IA em seguros, mantendo a conformidade regulatória na área de saúde ou simplificando a infraestrutura na fabricação, as organizações estão reconhecendo a necessidade de combinar governança de dados com acesso e movimentação flexíveis de dados.