O processador AI Vision permite vídeo de 8K a 30fps em menos de 2W

Usando o CES 2021 como plataforma de lançamento, Ambarella anunciou sua quinta geração de sistema de processador de visão em chip (SoC) de inteligência artificial (AI), que definiu um novo padrão para eficiência de energia. Seu processador CV5 AI vision CVflow fabricado em um processo avançado de 5nm da Samsung permite a codificação de vídeo de 8K completo a 30 quadros por segundo em menos de 2 Watts, o que é significativo para sistemas de câmeras inteligentes em câmeras automotivas, de consumo (incluindo drones) e robóticas.

O novo CV5 combina o motor CVflow AI da Ambarella com CPUs dual Arm A76 para fornecer o desempenho necessário para uma ampla gama de algoritmos baseados em AI. Habilitando a entrada de até 14 câmeras, o processador de sinal de imagem (ISP) pode processar imagens simultaneamente para visualização humana e processamento de máquina. Em um briefing com a embedded.com, Chris Day, vice-presidente de marketing e desenvolvimento de negócios da Ambarella, disse:“Esta é a nossa quinta geração de processadores de imagem, com processamento separado para vídeo e IA. É o primeiro chip de 5 nm, permitindo baixo consumo de energia, o que é crítico para muitas aplicações, especialmente em câmeras esportivas. ”

Ele acrescentou:“Trabalhamos em estreita colaboração com a fábrica da Samsung e temos uma das melhores equipes de design de VLSI da indústria. Isso significa que temos um bom acesso antecipado às bibliotecas de processo como resultado de nosso relacionamento de trabalho próximo com a Samsung. ”

Em aplicações de telemática de vídeo automotiva, o CV5 fornece o desempenho necessário para codificar vários streams de vídeo de sistemas avançados de assistência ao motorista (ADAS), monitoramento do motorista, monitoramento da cabine e câmeras de visão lateral. Seu motor CVflow AI pode executar simultaneamente algoritmos ADAS, como saída de faixa e aviso de colisão frontal, bem como algoritmos de monitoramento de motorista, como detecção de motorista sonolento. A combinação de captura de vídeo de alta resolução com processamento AI avançado permite que as câmeras ADAS reconheçam imagens a longas distâncias e com alta precisão.

Day disse que o interesse inicial é no mercado automotivo, já que este segmento representa cerca de 20% do negócio da Ambarella.

O baixo consumo de energia do CV5 SoC também o torna adequado para câmeras de alta resolução e alta taxa de quadros de próxima geração, 360 ° e realidade virtual (VR), oferecendo gravação e reprodução de 8K em designs de formato muito pequeno. Em particular, ele também possui recursos como estabilização de imagem no chip e costura adequada para câmeras VR.

Em aplicações robóticas e drones, o motor CVflow AI do CV5 pode acelerar a localização e mapeamento simultâneos (SLAM), planejamento de caminho e detecção de obstáculos e algoritmos de evitação para navegação e operação autônoma. Para videografia aérea e cinematografia baseada em drones, o CV5 pode executar simultaneamente funções de controle de vôo e navegação enquanto grava gravação de vídeo com resolução de até 8K a 60 quadros por segundo.

Day comentou que existem duas áreas no mercado de drones para as quais o CV5 é particularmente bom:uma é melhorar a videografia, mas a outra é adicionar visão computacional e IA para coisas como detecção de objetos.

Em todas as diferentes aplicações, Day disse que o principal benefício do CV5 é a capacidade de adicionar gravação de 8K em todos os mercados. Ele também disse que esta é a primeira vez que a empresa inclui a interface PCIe no chip, abrindo opções de conectividade. Embora o foco inicial seja automotivo, câmeras esportivas, drones e câmeras VR, ele espera ter versões do CV5 para segurança e vigilância ainda este ano

O novo SoC compartilha ferramentas comuns de SDK e visão computacional (CV) com outras famílias CVflow de SoC da Ambarella, simplificando o desenvolvimento de câmeras com várias opções de preço e desempenho. Um conjunto completo de ferramentas CV ajuda os clientes a portar suas próprias redes neurais para CV5, incluindo um compilador, depurador e suporte para estruturas de aprendizado de máquina padrão da indústria, como PyTorch, ONNX, Caffe e TensorFlow, bem como diretrizes extensas para neural convolucional otimização de desempenho de rede (CNN).

Os principais recursos do CV5 SoC incluem:

• Arquitetura CVflow com suporte DNN
• Dual-core Arm Cortex-A76 até 1,6 GHz com extensões NEON DSP e FPU
• Interfaces SLVS-EC, MIPI-CSI (C / D PHY) de alta velocidade, conectando até 14 câmeras
• ISP multicanal com taxa de transferência de até 8KP60
• Suporte nativo para RGGB, RCCB, RCCC, RGB-IR e formatos de sensor monocromático
• Processamento de alta faixa dinâmica (HDR) de múltiplas exposições
• Em tempo real, dewarping fisheye acelerado por hardware e correção de distorção de lente (LDC)
• codificação AVC e HEVC com taxa de transferência de até 8KP60 e suporte a vários fluxos
• Rico conjunto de interfaces inclui PCIe de 4 vias, CAN FD, Gigabit Ethernet, host e dispositivo USB 3.1, três controladores de cartão SD, saídas de vídeo MIPI DSI / CSI-2 e HDMI
• suporte LPDDR4x / LPDDR5 / LPDDR5x, barramento de dados de 64 bits e capacidade de até 32 GB
• Recursos de segurança, incluindo inicialização segura com TrustZone e memória segura, TRNG, OTP, codificação DRAM e virtualização
• tecnologia de processo de 5 nm
• Pacote FBGA 16 × 16 com passo da bola de 0,5 mm