Por Dentro do Laboratório IIoT da RTI: Do Hardware a Sistemas Avançados de Build e Teste

"Certifique-se de contar a eles sobre os sistemas de software operando o laboratório", minha equipe me lembrou enquanto me preparava para liderar um tour do Laboratório Industrial IoT (IIoT) da RTI durante a edição Silicon Valley da Connext Conference. Embora as paredes do laboratório sejam revestidas com servidores, Raspberry Pis e outro hardware, é o software subjacente que transforma o espaço em um ambiente de teste totalmente funcional. Nossas ferramentas de orquestração internas integram-se firmemente com os pipelines internos de build, teste e suporte da RTI.

Antes de mergulhar nos detalhes, considere a amplitude de desenvolvimento de software que o laboratório suporta. O software RTI Connext roda em mais de 100 combinações de processador/SO/toolchain — desde Linux mainstream em Intel x86 até sistemas operacionais de tempo real de nicho em plataformas embarcadas personalizadas. Suporta múltiplos transports de rede e interfaceia com vários bancos de dados. Nossa suíte de bibliotecas cobre C, C++, Java, C#, Ada, Lua, Python, JavaScript e Go, e nosso portfólio de produtos abrange mais de 20 ofertas individuais. Para manter clientes legados satisfeitos, enviamos patches para versões de software com uma década de idade.

Na RTI, operamos nossa própria infraestrutura de build e teste. Embora algumas cargas de trabalho pudessem migrar para provedores de nuvem como AWS, Azure ou Atlassian Cloud, a maior parte das capacidades do nosso laboratório permanece on-premises. Aqui está um instantâneo do que rodamos.

O laboratório IIoT da RTI consiste em três grandes grupos de sistemas:

1. O cluster de build e teste – rodando várias máquinas virtuais x86/x64
2. As máquinas alvo de teste enterprise e embarcadas – uma combinação de hardware especial, sistemas operacionais de tempo real e sistemas menos comumente usados
3. As máquinas de escalabilidade e desempenho – um conjunto de máquinas de teste poderosas e um grande banco de placas Raspberry Pi

O Cluster de Build e Teste

Todos os dias, desenvolvedores e nosso sistema de Integração Contínua (CI) disparam dezenas de builds e execuções de teste em nosso cluster. Construído sobre OpenStack e Ceph, o cluster virtualiza recursos de computação e armazenamento. Atualmente usamos Atlassian Bamboo para CI, mas estamos migrando para Jenkins para aproveitar ferramentas modernas de CI/CD.

Semanalmente, lançamos um ciclo abrangente de build e teste de regressão que abrange todas as arquiteturas suportadas, incluindo máquinas virtuais e alvos enterprise e embarcados do mundo real.

Empregamos scripts personalizados para automatizar o build semanal. Estes scripts iniciam compilação nativa e cross-compilation, resetam placas embarcadas, executam testes em alvos enterprise e embarcados, agregam resultados e os exibem em um dashboard amigável ao desenvolvedor. Alcançar resultados consistentes em plataformas heterogêneas demanda profunda expertise em porting de software, entendimento de nuances de SO e domínio de automação embarcada.

Máquinas Alvo de Teste Enterprise e Embarcadas

Certos alvos de teste não podem ser virtualizados — nosso laboratório hospeda AIX em IBM Power, Solaris em SPARC, e até openVMS em sistemas DEC Alpha. Em um caso único, reaproveitamos um console PlayStation 3 para rodar Linux, oferecendo uma alternativa custo-efetiva a rigs customizados de processador Cell. Também rodamos múltiplas versões de macOS e implantações hardened Redhawk Linux da Concurrent.

A maioria de nossos alvos são embarcados, muitos como SoCs. Suportamos x86, PowerPC, MIPS, ARM (incluindo Zynq e NVIDIA Tegra X2) e uma ampla gama de sistemas operacionais de tempo real — VxWorks, VxWorks 653, Integrity, LynxOS, QNX, Nucleus, FreeRTOS, Linux real-time, DEOS e Intime. Quando clientes fornecem hardware proprietário, SO e BSPs, nossa equipe de plataforma integra a stack, frequentemente sendo os primeiros a validar novo hardware ou BSPs.

Máquinas de Escalabilidade e Desempenho

O terceiro grupo inclui máquinas x64 de alto desempenho isoladas para medição de latência e throughput, bem como um cluster Raspberry Pi para testes de topologia de rede. Usando nosso framework customizado "Polygraph", verificamos protocolos de descoberta em escala, medindo CPU, memória, largura de banda e latência de descoberta. Nossa equipe de pesquisa construiu um sistema leve para implantar aplicações de teste e coletar resultados em grandes clusters.

Networking

Validamos middleware contra diversas tecnologias de rede — 10/100 Mbps, Gigabit, 10 GbE, Wi-Fi, InfiniBand e até links via satélite — enquanto simulamos perda e corrupção de pacotes. Nossa robusta gestão de cabos e testbed wireless permitem testar recursos de Transport Mobility sob estresse. Acesso remoto é facilitado via switches de energia em rede e servidores seriais, permitindo que engenheiros worldwide controlem todos os sistemas de qualquer lugar.

O Próximo Sistema de Build de Próxima Geração

Embora nossa infraestrutura atual nos tenha servido bem, estamos desenvolvendo um sistema de build de próxima geração para aumentar produtividade: builds mais rápidos, toolchains modernos como CMake, Conan.io, JFrog Artifactory, Docker e Jenkins; execução de jobs paralelizada; e reserva de máquinas simplificada. Este novo sistema empoderará ainda mais nossas equipes de engenharia e release.

O Laboratório IIoT da RTI opera 24/7, 365 dias por ano, garantindo que os sistemas distribuídos críticos de nossos clientes permaneçam confiáveis e performáticos. Fique atento para mais atualizações sobre o próximo sistema de build.