Ascend Preview Tool: Simplifique Gestão de Pipeline de Dados para Insights Mais Rápidos e Confiáveis

Queryable Dataflows reduzirá significativamente grande parte do overhead manual hoje associado com gerenciamento de DataOps.

Uma das coisas que mais conspira para tornar TI muito menos ágil do que qualquer um quer ou aprecia é todo o tempo e esforço que vai em construir manualmente pipelines de dados. Não só é um desafio construir esses pipelines em primeiro lugar, decifrar como eles funcionam e foram implementados pode levar dias e semanas.

Para tornar mais simples modificar pipelines de dados existentes, a Ascend está agora fornecendo uma preview técnica de uma ferramenta que permite equipes de TI lançarem queries diretamente contra pipelines de dados construídos usando o Autonomous Dataflow Service recentemente lançado da empresa, que torna mais simples criar pipelines usando ferramentas declarativas em instâncias do framework de computação in-memory Apache Spark hospedadas em nuvens públicas fornecidas pela Amazon Web Services (AWS), Microsoft, ou Google.

Veja também: DataOps: O Antídoto para Pipelines de Dados Congestionados

Chamado Queryable Dataflows, esta nova capacidade reduzirá significativamente grande parte do overhead manual hoje associado com gerenciamento de DataOps, diz CEO da Ascend, Sean Knapp.

Queryable Dataflows torna possível para equipes de DataOps explorar e perfilar grandes datasets raw incrementalmente enquanto constroem. Essa capacidade não só torna mais simples construir novos pipelines mais rápido, também pode ser empregada para garantir resultados precisos antes de expor dados a aplicações downstream.

Pipelines agora são capazes de lidar com staging e exploração de uma maneira que descarrega essas atividades do data warehouse. Além disso, queries interativas podem imediatamente ser movidas para produção como estágios dentro do Autonomous Dataflow Service para eliminar recodificação e reprocessamento.

Queryable Dataflows também ajuda otimizar analytics operacionais e relatórios. Analistas e cientistas de dados também podem conectar diretamente a estágios de pipeline sem ter que primeiro carregar dados em um warehouse, o que significa que eles podem empregar suas ferramentas preferidas para acessar dados.

Gerações anteriores de ferramentas para gerenciar ferramentas de pipeline de dados são, por comparação, pouco mais que agendadores de jobs glorificados, diz Knapp.

DataOps como disciplina de TI está sob pressão aumentada porque a taxa de mudança que ocorre dentro de ambientes de TI acelerou. Graças em parte à ascensão de processos DevOps e microserviços, a taxa na qual pipelines de dados precisam ser otimizados ou atualizados aumentou exponencialmente. Atualizações manuais em pipelines de dados criarão alguns pontos de atrito muito previsíveis entre DataOps e DevOps, diz Knapp.

"DataOps e DevOps precisam ser harmonizados," diz Knapp.

De fato, essa falta de harmonia é o que leva desenvolvedores a frequentemente tentar contornar a equipe de TI interna empregando um banco de dados open source para construir uma aplicação apenas para descobrir com o tempo que aquele banco de dados não escala para atender às demandas da aplicação. Então eles acabam tendo que reengajar com equipes de TI internas para mover aquela aplicação para uma plataforma como Apache Spark ou algum outro banco de dados.

Não está claro em que grau DataOps e DevOps poderiam um dia convergir. Por ora, ambas as áreas provavelmente permanecerão domínios por si próprias. No entanto, também é abundantemente claro que processos DataOps precisam melhorar ao ponto onde a construção de pipelines de dados não é mais um gargalo maior segurando a modernização de TI.