Sistemas de monitoramento de motorista baseados em visão ganham tração

Qualquer pessoa que acredite que os sistemas de monitoramento de driver baseados na visão (DMS) são desnecessários ou obsoletos não tem prestado atenção aos recentes desenvolvimentos de mercado cobertos pelo EE Times . Subnotificada e subestimada - especialmente entre os fabricantes de automóveis e consumidores dos EUA - esta é a tecnologia que está finalmente emergindo da luz.

Apresentei o keynote DMS no recente EE Times O evento “Roadmap to the Next-Gen EV&AV” e usei o slide a seguir para mostrar a evolução do mercado de câmeras ADAS para a frente como uma referência para as oportunidades de crescimento que se avizinham para DMS e sistemas de monitoramento em cabine (ICMS).

clique para imagem em tamanho real

(Fonte:Semicast Research)

O mercado de câmeras frontais ADAS tem sido dominado até agora pela Mobileye, com uma participação de mercado que estimo em cerca de 60%. A Mobileye foi comprada em um negócio de alto perfil pela Intel em 2017 por US $ 15,3 bilhões, mas o que este slide demonstra é o início humilde do mercado de câmeras avançadas ADAS nos dez anos anteriores à aquisição da Intel.

O Formulário F-1 arquivado por Mobileye em 2014 com a Securities and Exchange Commission em preparação para sua listagem na Bolsa de Valores de Nova York agora é um documento histórico, mas mesmo assim é extremamente informativo para analistas como eu, que buscam detalhes precisos do passado tão úteis guias para o futuro. Abaixo está uma captura de tela de uma página que achei particularmente esclarecedora.

clique para imagem em tamanho real

(Fonte:arquivo SEC)

Isso mostra não apenas o quão extensivamente a Mobileye já havia desenvolvido seus relacionamentos diretos com os fabricantes de automóveis (OEMs) em 2014, mas também com os fornecedores de primeiro nível. Observe na lista de fornecedores de nível um que a Magna é nomeada primeiro e, como este artigo de agosto de 2006 destaca, a Magna foi a primeira de nível a compreender verdadeiramente a importância da oportunidade apresentada pela tecnologia de câmera avançada ADAS e a trazer suas proezas de engenharia para uma parceria com Mobileye.

Por que estou escrevendo sobre eventos de quinze anos atrás? Continue lendo e irei explicar a importância de um anúncio recente que foi perdido principalmente entre a agitação e a confusão da recente Conferência de Tecnologia de GPU de 2021 da Nvidia.

Magna entra no mercado de espelho OMS

Conforme mostrado no slide seguinte de Seeing Machines, o mercado de sistemas de visão interior automotivos está evoluindo do monitoramento do motorista, usando sensores de imagem de campo de visão próximo (NFOV), para sistemas de monitoramento de ocupante (OMS) que usam campo amplo sensores de imagem de visão (WFOV) para analisar todos os ocupantes da cabine.

clique para imagem em tamanho real

(Fonte:Seeing Machines)

Ao contrário da câmera frontal ADAS, a Magna não estava nem perto de ser a primeira camada a oferecer DMS, tendo sido derrotada na produção em série pela Aptiv, Denso, Joyson, LG Electronics, Mitsubishi, Mobis e Veoneer. No entanto, a Magna parece destinada a roubar uma marcha sobre seus concorrentes na área de OMS e, especificamente, onde os componentes ópticos e eletrônicos associados são integrados em uma solução de nível de sistema dentro do espelho interno.

Eu capturei um frame do vídeo e apresentei abaixo, que mostra o espelho desmontado e revela a integração do sensor de imagem CMOS e do PCB com os emissores infravermelhos de LED e processador de imagem. Este é um feito extraordinário de engenharia, tornado ainda mais impressionante pela aparente ausência de um ventilador para resfriar o processador de imagem.

Magna Mirror OMS (Fonte:Magna)

A Magna não é a primeira camada a demonstrar um espelho interno com componentes ópticos integrados, como mostram as imagens a seguir da câmera interna da Continental (ICAM) e do espelho de detecção na cabine da Gentex. No entanto, assim como foi realizado para o mercado de câmeras dianteiras ADAS, acredito que a Magna agora tem a vantagem de ser pioneira, oferecendo aos fabricantes de automóveis uma solução de espelho OMS tudo-em-um.

(Fonte:Continental)

Espelho sensor de cabine Gentex (Fonte:Gentex)

Embora eu não tenha visto especificações técnicas para o espelho OMS da Magna, meu julgamento é que ele provavelmente combina um sensor de imagem CMOS da OmniVision (provavelmente o OV2311 de 2 megapixels), um FPGA Xilinx (Zynq-7000 ou UltraScale + MPSoC) para alta desempenho processamento de imagem com baixo consumo de energia, com software de monitoramento de ocupantes fornecido pela Seeing Machines.

Muitas das questões técnicas relacionadas ao monitoramento de ocupantes e motoristas foram abordadas em detalhes no recente EE Times painel de discussão sobre o assunto, cujo resumo pode ser lido aqui.

Como minha palestra discute, as remessas de DMS / OMS devem crescer dramaticamente ao longo desta década, à medida que órgãos consultivos como o Euro NCAP e mandatos como o Regulamento Geral de Segurança Europeu direcionam os fabricantes de automóveis a adotarem tecnologia que monitora de forma confiável os motoristas quanto a distração, sonolência e deficiência. Isso se aplica até mesmo a modelos de mercado de massa de baixo custo e independentemente de o veículo ter uma função de direção sem as mãos, como o SuperCruise da GM ou o BlueCruise da Ford, que usam DMS baseado em visão robusta para avaliar com precisão o envolvimento do motorista.

A colocação dos componentes ópticos IR dentro da cabine é uma decisão difícil, mas crucial para os fabricantes de automóveis e um complicado desafio de engenharia para os fornecedores de primeiro nível. As implementações atuais de monitoramento do motorista geralmente têm visto o sensor de imagem localizado na coluna de direção (Cadillac CT6), o painel de instrumentos (BMW X5) ou no console central (Subaru Forester).

O local mais fácil, rápido e econômico para os fabricantes de automóveis integrarem os componentes ópticos IV necessários e os componentes eletrônicos associados é o espelho interno. Com o Euro NCAP definido para adicionar testes DMS / OMS à sua classificação de segurança de 5 estrelas em 2023 ou 2024, o anúncio recente da Magna de um espelho de monitoramento interno totalmente integrado é realmente importante.

Tesla reinventa a roda [OMS]

A Tesla vem ganhando manchetes recentemente à medida que busca reaproveitar a câmera interna instalada no Modelo 3 e no Modelo Y para fornecer funções de monitoramento do motorista e do ocupante. Podemos ver mais de seu progresso neste vídeo, em particular o quão barulhento é o classificador de estado do driver e quão facilmente o sistema pode ser falsificado com uma fotografia.

Poderíamos descrever educadamente os algoritmos de OMS de Tesla como estando no estágio inicial de protótipo e, embora possam melhorar à medida que a frota de veículos coleta dados, a confiabilidade do sistema para fins de segurança será, em última análise, limitada pela ausência de iluminação IR. Nenhuma atualização over-the-air pode superar esse descuido de design, evitando assim que o sensor de imagem funcione no escuro, conforme mostrado neste vídeo.

Agora que a Consumer Reports provou como é fácil derrotar o monitor do motorista baseado em torque no piloto automático da Tesla, outras montadoras procuram fazer parceria com fornecedores de nível um, como Magna, e fornecedores de software, como Seeing Machines, para integrar sistemas confiáveis ​​de monitoramento de motoristas e ocupantes que trazem uma melhoria significativa na segurança no trânsito, conforme discutido no vídeo abaixo.

Qualquer sistema de segurança que pode ser derrotado por uma laranja não é seguro. Elon Musk e Tesla terão a humildade de admitir que estavam errados sobre o significado de DMS e OMS? Tudo é possível com Tesla, mas, neste caso, não estou prendendo a respiração. Para todos os outros, a adoção de driver robusto e monitoramento de ocupantes está apenas começando.

>> Este artigo foi publicado originalmente em nosso site irmão, EE Vezes.

---

Colin Barnden é analista principal da Semicast Research e tem mais de 25 anos de experiência como analista do setor. Ele é considerado um especialista mundial em tendências de mercado para sistemas de monitoramento de motorista baseados em visão automotiva (DMS). Ele tem um B.Eng. (Hons) em Engenharia Elétrica e Eletrônica pela Aston University na Inglaterra e cobre o mercado de eletrônicos automotivos desde 1999.

---

Conteúdos Relacionados:

• A face em mudança do software automotivo
• Superando desafios de conexão de câmeras automotivas
• Várias opções de atualização OTA aguardam os desenvolvedores de software automotivo
• Radar em chip de 60 GHz oferece suporte aos requisitos da indústria automotiva
• Os especialistas em ADAS ponderam a integração do sensor em veículos futuros
• Os especialistas em ADAS ponderam a integração do sensor em veículos futuros

Para obter mais informações sobre o Embedded, assine o boletim informativo semanal da Embedded por e-mail.