Sistema de câmera dupla monitora o motorista e a estrada com um único AI SoC

Novo painel de controle do KeepTruckin, baseado no sistema CV22 de Ambarella em um chip, usa IA para monitorar motoristas de caminhões e outros veículos comerciais.
Os sistemas de monitoramento do motorista se tornaram uma parte essencial da conversa em segurança automotiva. Embora grande parte da discussão sobre o monitoramento do motorista gire em torno de seu uso para indivíduos em automóveis de passageiros, há um enorme mercado no setor de veículos comerciais para monitorar motoristas em seus caminhões para garantir a segurança e tentar evitar acidentes, bem como para capacitar os gestores de frota para avaliar o risco e reduzir os custos de seguro.

Atendendo a esse mercado, a empresa de tecnologia de gerenciamento de frotas KeepTruckin disse esta semana que fez uma parceria com a empresa Ambarella de sistema de visão em chip (SoC) de inteligência artificial (IA) de ponta para desenvolver seu novo painel de instrumentos pós-mercado para veículos comerciais maiores. O novo dashcam usa um único Ambarella CV22 SoC para fornecer simultaneamente AI e processamento de imagem para seu sistema de câmera dupla, que integra uma câmera para o sistema de assistência ao motorista avançado (ADAS) frontal com gravação de incidentes e uma segunda câmera RGB-IR para o sistema de monitoramento de motorista (DMS) com gravação de motorista.

A especificação de desempenho por watt do CV22 também permite que o pequeno AI dashcam execute os algoritmos de AI proprietários do KeepTruckin para detecção de comportamento de alto risco em tempo real e avisos ativos diretamente no dispositivo com dissipação de calor mínima.

EE Times conversou com executivos da KeepTruckin e Ambarella para saber mais sobre o desenvolvimento do produto. Jai Ranganathan, vice-presidente sênior de produtos da KeepTruckin, disse:“A segurança do motorista se tornou mais importante do que nunca, especialmente porque há mais litígios contra operadores comerciais. Portanto, o conceito de dashcams se tornou muito popular. Fizemos uma parceria com a Ambarella para desenvolver nosso painel de controle da próxima geração. Uma métrica chave para nós quando olhamos para o chip deles é a inferência por Watt; o desempenho em relação ao custo também era importante. Precisávamos fazer coisas como detecção de profundidade com uma única lente, o que pode ser difícil ”.

Ele disse que todo o processo, desde o início até o lançamento do dashcam, levou cerca de 18 meses. “O maior fator para nós [para possibilitar esse rápido tempo de lançamento no mercado] foi ter um parceiro que pudesse ajudar em todo o processo de desenvolvimento. Não teria sido viável chegar ao mercado tão rapidamente de outra forma. ”

O diretor de produto da KeepTruckin, Abhishek Gupta, acrescentou:“O suporte do desenvolvedor foi extremamente benéfico, especialmente porque o construímos durante uma pandemia, quando muitas pessoas trabalhavam remotamente”.

Ranganathan disse que o painel de controle AI do KeepTruckin aproveita o desempenho de processamento de visão e AI de ponta do Ambarella para fornecer recursos avançados baseados em AI que detectam comportamento de alto risco com alta precisão e eficiência. “Nossa inovação contínua de gerenciamento de frota é possibilitada pela gama escalonável de SoCs CVflow AI Vision da Ambarella, que são todos suportados por um SDK comum robusto, permitindo uma abordagem de plataforma para o desenvolvimento de nosso produto.”

Fornecendo a perspectiva do analista, Ian Riches, vice-presidente da prática automotiva e diretor da Strategy Analytics, comentou:“A seleção de Ambarella SoCs da KeepTruckin para seu novo AI Dashcam oferece uma plataforma poderosa, econômica e eficiente para construir. O ecossistema da Ambarella fornece as ferramentas necessárias para desenvolver soluções de IA personalizadas que serão benéficas para os clientes de sua frota. ”

Os recursos ADAS frontais habilitados pelo CV22 incluem avisos de acompanhamento próximo, saídas de faixa, colisões frontais, excesso de velocidade e violações de tráfego. Usando o mesmo SoC, executando vários modelos de rede neural simultâneos, os recursos de DMS da câmera na cabine incluem monitoramento de fadiga do motorista, distração e violações de políticas, como uso de telefone celular contextual ou monitoramento de cinto de segurança, em combinação com dados da câmera frontal.

O AI Dashcam é conectado ao KeepTruckin Vehicle Gateway, que carrega os dados pré-analisados, vídeo e imagens estáticas para o software de gerenciamento de frota baseado em nuvem da KeepTruckin em tempo real. O CV22 SoC integra o processador de sinal de imagem Ambarella, que fornece vídeos HDR de alta qualidade com resolução de 1440p em todas as condições de iluminação, enquanto utiliza sua codificação H.264 / H.265 no chip para reduzir a largura de banda de transmissão e os custos de armazenamento.

KeepTruckin pode carregar recursos adicionais para o CV22 ao longo do tempo, por meio de atualizações de software over-the-air, para entregar valor incremental aos clientes que investem na plataforma. Além disso, o treinamento de modelo da KeepTruckin torna-se cada vez mais preciso devido à sua equipe de segurança interna avaliando a qualidade em tempo real, adicionando contexto de risco adicional e fornecendo informações que tornam os ciclos de treinamento e desenvolvimento de modelo mais curtos.

Udit Budhia, diretor de marketing da Ambarella, disse:“Para o mercado de reposição, este é provavelmente o produto de visão de IA mais sofisticado para o setor automotivo. Vimos um rápido crescimento dos sistemas de alerta ADAS, como avisos de saída de faixa. ” Falando sobre o benefício do CV22 SoC nesta aplicação, ele acrescentou:“Um componente chave é o processador de sinal de imagem (ISP). Oferecemos suporte a vários tipos de sensores, incluindo RGGB, RGB-IR, monocromático, RCCB e RCCC, além de suporte ao processamento de HDR. Podemos detectar objetos na cena e também ter filtragem de luz baixa, o que resulta em menos ruído e, portanto, processamento de vídeo mais eficiente. Usamos menos largura de banda e significativamente menos DRAM. ”

Sobre as ferramentas, Budhia disse:“Nossa ferramenta permite o desenvolvimento de câmeras frontais e de monitoramento do motorista ao mesmo tempo”. A programabilidade e eficiência da arquitetura CVflow AI da Ambarella permite um desempenho significativo de visão computacional com consumo de energia muito baixo, o que aumenta a confiabilidade e a eficiência para executar mais modelos em paralelo, levando a uma maior detecção e visibilidade ao redor. Seu conjunto completo de ferramentas CV ajuda clientes como KeepTruckin a portar suas próprias redes neurais e inclui suporte para estruturas de aprendizado de máquina padrão da indústria, como PyTorch, ONNX, Caffe e TensorFlow.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Vezes.

---

Conteúdos Relacionados:

• Sistemas de monitoramento de motorista baseados na visão ganham força
• Resolvendo equívocos sobre sistemas de monitoramento de motorista
• O sistema de numeração de automação de veículos é útil?
• Os sensores de imagem oferecem imagens mais nítidas na cabine
• As principais tecnologias que nos aproximam da mobilidade sem motorista

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.