Habilitando o hardware para o metaverso

O metaverso é muito falado, principalmente com empresas como Facebook e Nvidia apresentando suas visões do futuro digital. Mas o que exatamente é o metaverso, quais são os desafios de hardware para ativá-lo e quais elementos já existem? A empresa de analistas IDTechEx explorou o progresso em áreas como monitores, sensores de imagem, ótica, háptica, realidade aumentada / realidade virtual em alguma profundidade recentemente; apresentamos um pouco dessa discussão aqui.

O fim do jogo para o metaverso é que mundos virtuais existam perfeitamente ao lado do real, com interações imersivas entre os dois mudando nossa percepção da presença física. O software para isso está quase lá, mas o hardware ainda tem muitos obstáculos a superar.

O metaverso promete uma mudança radical na forma como a sociedade se comunica, mas, sem a tecnologia de hardware, no final das contas permanecerá um sonho irreal. Ainda seremos capazes de interagir com o metaverso por meio de nossos telefones e laptops, mas eles se tornarão dispositivos legados. Para nos imergirmos, isso requer um fone de ouvido de realidade virtual (VR); para uma verdadeira integração entre o criado e o físico, são necessários dispositivos de realidade aumentada (AR).

Uma pedra de toque nas indústrias de dispositivos AR / VR é a aceitação social e sem avanços na tecnologia de detecção, exibição e óptica, os headsets AR e VR não serão elegantes o suficiente para conseguir isso. Apesar de bilhões de dólares sendo investidos no desenvolvimento, a IDTechEx disse que os verdadeiros óculos AR ainda estão longe de ficar ao lado dos Ray-Bans em termos de aparência ou exibição de imagens com qualidade IMAX. Meta (antigo Facebook) anunciou seu projeto de óculos AR ao mesmo tempo que sua mudança de nome, admitindo que estavam a anos de viabilidade. Os headsets de RV às vezes convidam a comparações com o Robocop - apenas os dispositivos de última geração começam a confundir os limites entre o que é real e o que não é.

A longo prazo, o objetivo é um dispositivo leve e confortável que você possa usar o dia todo, alternando entre AR e VR enquanto permite interações naturais entre você e outros usuários do metaverso. A jornada tecnológica em direção ao hardware necessário para criar este dispositivo hipotético apresenta desenvolvimentos ainda mais atraentes e desafios complexos do que o software.

Monitores MicroLED são parte da solução

Colocar uma tela bem na frente de seus olhos revela coisas que não notamos quando olhamos para um telefone ou TV. Vemos as lacunas entre os pixels em um fenômeno chamado efeito de porta de tela e a regra é que 60 pixels por grau (ppd) de campo de visão são necessários para VR ou AR começar a parecer realidade, levando a grandes demandas de resolução . Além disso, a ótica é necessária para focar e dimensionar essas imagens corretamente para nossa visão. No caso do AR, essas óticas são muito ineficientes, levando a demandas de brilho na casa dos milhões de nits - para referência, a tela do iPhone 13 Pro Max atinge o máximo em 1200 nits.

Monitores MicroLED são uma solução promissora para RA e VR. Eles não sofrem de burn-in como os monitores OLED, podem ter níveis de brilho absurdos (JadeBird faz um para aplicativos de RA com um nível de brilho máximo de 3 milhões de nits) e permitem pequenos intervalos de pixel, com o Mojo Vision produzindo o que eles chamam de nanoLED tela que é pequena o suficiente para caber em uma lente de contato e tem uma distância de subpixel de 900 nm.

No entanto, há um grande problema:os microvisores microOLED não são bons na produção de imagens coloridas, com os microLEDs azuis sendo significativamente mais eficientes do que outras cores. A conversão de cores de pontos quânticos é a solução preferida aqui, permitindo a conversão de luz azul em vermelho e verde, e esses pontos quânticos podem ser impressos a jato de tinta ou padronizados litograficamente. Ainda existem preocupações com a longevidade, especialmente em microvisores muito brilhantes, bem como a dependência de metais pesados ​​em muitas formulações. O cronograma de desenvolvimento para monitores microLED é descrito em detalhes neste relatório sobre tecnologia, comercialização, oportunidade, mercado e jogadores.

O maior campo de batalha para AR, em particular, é a óptica combinada. Esses dispositivos sobrepõem as imagens projetadas em uma lente transparente. Aqui, as empresas lutam pela melhor reprodução de cores, o mais amplo campo de visão e a maior caixa ocular para permitir uma experiência de exibição convincente que funcione para todos os tipos de olhos.

Considerando as grandes novidades deste ano nesta área, os guias de onda em relevo parecem ser a solução em que a indústria está apostando. Em maio, a WaveOptics foi adquirida pela Snap (outra gigante da mídia social voltada para o metaverso) e, em novembro, o investimento de gigantes como a Samsung Electronics na Digilens levou a uma avaliação de US $ 500 milhões. Ambas são empresas de guia de ondas sem fábrica. Um desenvolvimento empolgante da Digilens é seu guia de ondas TREX, que pode dobrar a resolução efetiva da tela, fornecendo uma arma no arsenal para atingir os 60ppd. Outro relatório sobre ótica e monitores em AR, VR e MR cobre as tecnologias, jogadores e mercados, e investiga o combinador ótico e a tecnologia de monitores nessas aplicações em detalhes.

Tecnologia de rastreamento ocular

Se você tentasse construir um fone de ouvido que cobrisse todos os 135 ° do campo de visão horizontal de cada olho com resolução de 60ppd, as coisas ficariam rapidamente incontroláveis ​​- felizmente, apenas o centro de nossa visão é desta alta qualidade, com as bordas externas não sendo assim exigente. Rastreando nossos olhos, a resolução pode ser maximizada no centro de onde o usuário está olhando, enquanto reduz as demandas em outros lugares.

No futuro, esta tecnologia de rastreamento ocular pode até ser usada para projetar imagens AR / VR diretamente na retina por meio de varredura de feixe de laser, contornando a necessidade de combinação de óptica e correção para usuários de óculos:isto é, se os consumidores se sentirem confortáveis ​​com a ideia.

As empresas neste espaço estão usando tecnologias emergentes de sensores de imagem para rastrear o olho com mais eficiência. A visão baseada em eventos pode ajudar a manter as demandas de processamento baixas, registrando nativamente o movimento em vez de um fluxo de quadros de imagem convencionais. Usando sensores de imagem impressos, a tecnologia de rastreamento ocular pode ser comprimida em um pacote mais esbelto. A Meta Materials Inc. (sem relação com a Meta) já está incorporando microcâmeras diretamente nas lentes dos óculos e esta abordagem será integrada ao combinador ou ampliador óptico para AR e VR, respectivamente, conforme a tecnologia amadurece.

Experiências táteis e sensoriais

Tudo o que foi discutido até agora equivale a pouco mais do que uma TV de última geração presa ao seu rosto, caso você não consiga interagir com ela de maneira semelhante ao mundo real. Os dispositivos AR e VR não apenas precisam sentir nossos movimentos, mas, para uma imersão total, dispositivos táteis (feedback de toque) também são necessários. Em novembro de 2021, a divisão Reality Labs (RL) da Meta exibiu um protótipo de produto de luva háptica, incluindo vídeos de Mark Zuckerberg testando várias demos. Esta luva usa sistemas microfluídicos para fornecer feedback tátil local para diferentes áreas da mão, parecendo fornecer mais feedback de toque para cada dedo. Embora tenha havido alguma controvérsia sobre a semelhança deste protótipo com um produto da HaptX, a posição IP da Meta é forte aqui e representa os esforços feitos por empresas focadas no metaverso para garantir que experiências sensoriais além do audiovisual sejam entregues, de acordo com IDTechEx.

O analista disse que um grande vencedor no lado do sensoriamento nos fones de ouvido recentes foi o tempo de câmeras de voo para rastreamento de mão, eliminando a necessidade de interações do tipo controlador de jogo com dispositivos VR e AR. Sabe-se que a Apple investe no espaço VR / AR há anos e, em outubro de 2021, fontes da indústria relataram que a LG Innotek havia começado a fornecer câmeras de tempo de voo para a empresa para um fone de ouvido VR com lançamento previsto para 2022. Quando a Apple adota uma tecnologia, geralmente é uma declaração forte de que está prestes a se tornar onipresente, representando outro ponto de dados em um futuro forte para RA e VR.

A IDTechEx conclui dizendo que, de forma limitada, o metaverso já está aqui. A montanha de desenvolvimento de hardware que impede sua plena realização está sendo escalada lentamente e óculos AR leves e bonitos substituir nossos telefones e laptops no futuro parece quase uma certeza.