O que está levando a IA ao limite

Em 2020, prevemos que mais de 750 milhões de chips de IA de ponta - chips ou partes de chips que executam ou aceleram tarefas de aprendizado de máquina no dispositivo, em vez de em um data center remoto - serão vendidos, representando uma receita de US $ 2,6 bilhões. Além disso, o mercado de chips de IA de ponta crescerá muito mais rapidamente do que o mercado geral de chips. Em 2024, esperamos que as vendas de chips de AI de borda excedam 1,5 bilhão, possivelmente por muito. Isso representa um crescimento anual de vendas unitárias de pelo menos 20%, mais do que o dobro da previsão de longo prazo de 9% CAGR para a indústria geral de semicondutores.

Esses chips de IA de ponta provavelmente irão encontrar seu caminho em um número cada vez maior de dispositivos de consumo, como smartphones, tablets, alto-falantes inteligentes e vestíveis de última geração. Eles também serão usados ​​em vários mercados corporativos:robôs, câmeras, sensores e outros dispositivos IoT (internet das coisas) em geral.

O mercado de chips de IA de ponta para o consumidor é muito maior do que o mercado corporativo, mas tende a crescer mais lentamente, com um CAGR de 18% esperado entre 2020 e 2024. O mercado de chips de IA de ponta empresarial está crescendo muito mais rápido, com um CAGR previsto de 50% no mesmo período.

No entanto, agora, em 2020, o mercado de dispositivos de consumo provavelmente representará mais de 90 por cento do mercado de chips de IA de ponta, tanto em termos de números vendidos como de seu valor em dólares. A grande maioria desses chips de IA de ponta irá para smartphones de ponta, que representam mais de 70 por cento de todos os chips de IA de ponta em uso atualmente. Portanto, em 2020 e nos próximos anos, o crescimento do chip de IA será impulsionado principalmente por smartphones. Acreditamos que mais de um terço do mercado de smartphones com 1,56 bilhão de unidades poderá ter chips AI de ponta em 2020.

Por causa dos requisitos extremamente intensivos do processador, os cálculos de IA foram quase todos realizados remotamente em data centers, em dispositivos de núcleo empresarial ou em processadores de ponta de telecomunicações - não localmente em dispositivos. Os chips Edge AI estão mudando tudo isso. Eles são fisicamente menores, relativamente baratos, usam muito menos energia e geram muito menos calor, tornando possível integrá-los a dispositivos portáteis e também a dispositivos não destinados ao consumidor, como robôs. Ao permitir que esses dispositivos executem cálculos de IA com uso intensivo de processador localmente, os chips de IA de ponta reduzem ou eliminam a necessidade de enviar grandes quantidades de dados para um local remoto - proporcionando, assim, benefícios em usabilidade, velocidade e segurança e privacidade de dados.

Manter o processamento no dispositivo é melhor em termos de privacidade e segurança; informações pessoais que nunca saem de um telefone não podem ser interceptadas ou utilizadas indevidamente. E quando o chip edge AI está no telefone, ele pode fazer todas essas coisas mesmo quando não está conectado a uma rede.

Claro, nem todos os cálculos de IA precisam ocorrer localmente. Para algumas aplicações, enviar dados para serem processados ​​por um array de AI remoto pode ser adequado ou mesmo preferido - por exemplo, quando há simplesmente muitos dados para o chip AI de borda de um dispositivo manipular. Na verdade, na maioria das vezes, a IA será feita de forma híbrida:algumas partes no dispositivo e outras na nuvem. A combinação preferida em qualquer situação variará dependendo exatamente de que tipo de processamento de IA precisa ser feito.

Figura 1:Locais onde a inteligência pode ser incorporada (Imagem:Deloitte Insights)

A economia da IA ​​de ponta em smartphones

Smartphones não são os únicos dispositivos que usam chips de IA de ponta; outras categorias de dispositivos - tablets, wearables, alto-falantes inteligentes - também os contêm. No curto prazo, esses dispositivos não smartphones provavelmente terão um impacto muito menor nas vendas de chips de IA de ponta do que smartphones, seja porque o mercado não está crescendo (como para tablets) ou porque é muito pequeno para fazer uma diferença material ( por exemplo, os alto-falantes inteligentes e os vestíveis combinados devem vender meros 125 milhões de unidades em 2020). No entanto, muitos wearables e alto-falantes inteligentes dependem de chips AI de ponta, então a penetração já é alta.

Figura 2:Mercado de chips The Edge AI (Imagem:Deloitte Insights)

Atualmente, apenas os smartphones mais caros - aqueles no terço superior da distribuição de preços - tendem a usar chips AI de ponta. Colocar um chip de IA em um smartphone não precisa ter um preço proibitivo para o consumidor.

É possível chegar a uma estimativa razoável do chip AI de borda de um smartphone. Até o momento, imagens de processadores de telefone da Samsung, Apple e Huawei mostram o molde de silício nu com todos os seus recursos visíveis, permitindo a identificação de quais partes dos chips são usadas para quais funções. Uma imagem do chip do Exynos 9820 da Samsung mostra que cerca de 5% da área total do chip é dedicada aos processadores AI. O custo da Samsung para todo o processador do aplicativo SoC é estimado em US $ 70,50, que é o segundo componente mais caro do telefone (depois da tela), representando cerca de 17% da conta total de materiais do dispositivo. Assumindo que a porção de AI custe o mesmo que o resto dos componentes em uma base de área de molde, a unidade de processamento neural de AI (NPU) de borda do Exynos representa cerca de 5% do custo total do chip. Isso se traduz em cerca de US $ 3,50 cada.

Figura 3:Uma imagem do chip para Exynos 9820 da Samsung mostra que cerca de 5% da área total do chip é dedicada aos processadores AI. (Imagem:ChipRebel, Anotação:AnandTech)

Da mesma forma, o chip A12 Bionic da Apple dedica cerca de 7% da área da matriz ao aprendizado de máquina. Com uma estimativa de $ 72 para todo o processador, isso sugere um custo de $ 5,10 para a porção AI de borda. O chip Huawei Kirin 970, estimado em US $ 52,50 para o fabricante, dedica 2,1% da matriz ao NPU, sugerindo um custo de US $ 1,10. (A área de matriz não é a única maneira de medir qual porcentagem do custo total de um chip vai para a IA, no entanto. De acordo com a Huawei, o NPU do Kirin 970 tem 150 milhões de transistores, representando 2,7% do total do chip de 5,5 bilhões de transistores. sugerem um custo NPU ligeiramente mais alto de $ 1,42).

Figura 4:O chip A12 Bionic da Apple dedica cerca de 7% da área da matriz ao aprendizado de máquina. (Imagem:TechInsights / AnandTech)

Embora essa faixa de custo seja ampla, pode ser razoável supor que as NPUs custem em média $ 3,50 por chip. Multiplicado por meio bilhão de smartphones (sem falar em tablets, alto-falantes e wearables), isso cria um grande mercado, apesar do baixo preço por chip. Mais importante, a um custo médio de US $ 3,50 para o fabricante e um mínimo provável de US $ 1, adicionar uma ponta AI NPU dedicada a chips de processamento de smartphones começa a parecer um acéfalo. Assumindo a marcação normal, adicionar $ 1 ao custo de fabricação se traduz em apenas $ 2 a mais para o cliente final. Isso significa que NPUs e seus benefícios de atendimento - uma câmera melhor, assistência de voz offline e assim por diante - podem ser colocados em até mesmo um smartphone de $ 250 por menos de 1% de aumento de preço.

Fornecimento de chips de IA:interno ou terceirizado?

As empresas que fabricam smartphones e outros tipos de dispositivos adotam abordagens diferentes para obter chips de IA de ponta, com a decisão conduzida por fatores que incluem o modelo do telefone e (às vezes) a geografia. Alguns compram chips de processador / modem de aplicativos de outras empresas especializadas em fabricá-los e vendê-los a fabricantes de telefones, mas não fabricam seus próprios telefones. Qualcomm e MediaTek são dois exemplos proeminentes; Juntas, essas duas empresas capturaram cerca de 60 por cento do mercado de chips SoC para smartphones em 2018.

Tanto a Qualcomm quanto a MediaTek oferecem uma variedade de SoCs a vários preços; embora nem todos incluam um chip AI de ponta, as ofertas de ponta (incluindo Snapdragon 845 e 855 da Qualcomm e Helio P60 da MediaTek) costumam incluir. No outro extremo da escala, a Apple não usa chips AP externos:ela projeta e usa seus próprios processadores SoC, como os chips A11, A12 e A13 Bionic, todos com IA de ponta.

Outros fabricantes de dispositivos, como Samsung e Huawei, usam uma estratégia híbrida, comprando alguns SoCs de fornecedores de silício do mercado comercial e usando seus próprios chips (como Exynos 9820 da Samsung e Kirin 970/980 da Huawei) para o resto.

Mais de 50 empresas de aceleradores de IA disputando IA de ponta em empresas e indústrias

Se os processadores de IA de ponta usados ​​em smartphones e outros dispositivos são tão bons, por que não usá-los também para aplicativos empresariais? Isso, de fato, já aconteceu para alguns casos de uso, como para alguns drones autônomos. Equipado com um processador de aplicativo SoC para smartphone, um drone é capaz de realizar navegação e evitar obstáculos em tempo real e completamente no dispositivo, sem nenhuma conexão de rede.

No entanto, um chip otimizado para um smartphone ou tablet não é a escolha certa para muitas aplicações empresariais ou industriais. Conforme discutido anteriormente, a porção AI da borda de um SoC de smartphone é apenas cerca de 5% da área total, cerca de US $ 3,50 do custo total, e usaria cerca de 95% menos energia do que todo o SoC. E se alguém construísse um chip que tivesse apenas a porção AI da borda (junto com algumas outras funções necessárias, como memória) que custava menos, usava menos eletricidade e era menor?

Bem, eles têm. Ao todo, até 50 empresas diferentes estão trabalhando em vários tipos de aceleradores de IA. Os chips AI independentes de ponta disponíveis em 2019 eram voltados para desenvolvedores, que os comprariam um de cada vez por cerca de US $ 80 cada. Em volumes de milhares ou milhões, esses chips provavelmente custarão aos fabricantes de dispositivos muito menos para comprar:alguns tão pouco quanto $ 1 (ou possivelmente até menos), alguns na casa das dezenas de dólares. Estamos, por enquanto, assumindo um custo médio de cerca de US $ 3,50, usando o chip AI do smartphone como proxy.

Além de serem relativamente baratos, os processadores de IA independentes de ponta têm a vantagem de serem pequenos. Eles também têm energia relativamente baixa, consumindo entre 1 a 10 watts. Para efeito de comparação, um cluster de data center (embora muito poderoso) de 16 GPUs e duas CPUs custa US $ 400.000, pesa 350 libras e consome 10.000 watts de energia.

Com chips como esses em desenvolvimento, o Edge AI pode abrir muitas novas possibilidades para as empresas, especialmente no que diz respeito a aplicativos de IoT. Usando chips de IA de ponta, as empresas podem aumentar muito sua capacidade de analisar - não apenas coletar - dados de dispositivos conectados e converter essa análise em ação, evitando os desafios de custo, complexidade e segurança de enviar grandes quantidades de dados para a nuvem. Os problemas que os chips de IA podem ajudar a resolver incluem:

Segurança e privacidade de dados. Coletar, armazenar e mover dados para a nuvem inevitavelmente expõe uma organização a ameaças à segurança cibernética e à privacidade, mesmo quando as empresas estão vigilantes quanto à proteção de dados. Esse risco imensamente importante está se tornando ainda mais crítico de ser tratado com o passar do tempo. Regulamentações sobre informações de identificação pessoal estão surgindo em várias jurisdições, e os consumidores estão se tornando mais cientes dos dados coletados pelas empresas, com 80% deles dizendo que não acham que as empresas estão fazendo tudo o que podem para proteger a privacidade do consumidor. Alguns dispositivos, como alto-falantes inteligentes, estão começando a ser usados ​​em ambientes como hospitais, onde a privacidade do paciente é regulamentada de forma ainda mais rigorosa.

Ao permitir que grandes quantidades de dados sejam processadas localmente, os chips edge AI podem reduzir o risco de dados pessoais ou corporativos serem interceptados ou mal utilizados. Câmeras de segurança com processamento de aprendizado de máquina, por exemplo, podem reduzir os riscos de privacidade analisando o vídeo para determinar quais segmentos do vídeo são relevantes e enviando apenas esses para a nuvem. Os chips de aprendizado de máquina também podem reconhecer uma gama mais ampla de comandos de voz, de modo que menos áudio precisa ser analisado na nuvem. Um reconhecimento de voz mais preciso pode oferecer o bônus adicional de ajudar os alto-falantes inteligentes a detectar a “palavra de ativação” com mais precisão, evitando que ouça conversas não relacionadas.

Baixa conectividade. Um dispositivo deve estar conectado para que os dados sejam processados ​​na nuvem. Em alguns casos, entretanto, conectar o dispositivo é impraticável. Tome drones como exemplo. Manter a conectividade com um drone pode ser difícil, dependendo de onde eles operam, e tanto a própria conexão quanto o upload de dados para a nuvem podem reduzir a vida útil da bateria. Em New South Wales, Austrália, drones com aprendizado de máquina integrado patrulham as praias para manter os nadadores seguros. Eles podem identificar nadadores que foram pegos por correntes de maré ou alertar nadadores sobre tubarões e crocodilos antes de um ataque, tudo sem conexão com a Internet.

Dados (muito) grandes. Os dispositivos IoT podem gerar grandes quantidades de dados. Por exemplo, um jato Airbus A-350 tem mais de 6.000 sensores e gera 2,5 terabytes de dados a cada dia que voa. Globalmente, as câmeras de segurança criam cerca de 2.500 petabytes de dados por dia. Enviar todos esses dados para a nuvem para armazenamento e análise é caro e complexo. Colocar processadores de aprendizado de máquina nos terminais, sejam sensores ou câmeras, pode resolver esse problema. As câmeras, por exemplo, podem ser equipadas com unidades de processamento de visão (VPUs), processadores SoC de baixa potência especializados para análise ou pré-processamento de imagens digitais. Com chips de IA de ponta incorporados, um dispositivo pode analisar dados em tempo real, transmitir apenas o que é relevante para análise posterior na nuvem e “esquecer” o resto, reduzindo o custo de armazenamento e largura de banda.

Restrições de energia. Os chips de aprendizado de máquina de baixo consumo de energia podem permitir que até mesmo dispositivos com baterias pequenas executem cálculos de IA sem dreno de energia indevido. Por exemplo, chips Arm estão sendo embutidos em inaladores respiratórios para analisar dados, como capacidade pulmonar de inalação e o fluxo de remédio para os pulmões. A análise de IA é realizada no inalador e os resultados são enviados para um aplicativo de smartphone, ajudando os profissionais de saúde a desenvolverem cuidados personalizados para pacientes asmáticos. Além das NPUs de IA de ponta de baixo consumo atualmente disponíveis, as empresas estão trabalhando para desenvolver o “aprendizado de máquina minúsculo”:aprendizado profundo em dispositivos tão pequenos quanto unidades de microcontroladores. O Google, por exemplo, está desenvolvendo uma versão do TensorFlow Lite que pode permitir que microcontroladores analisem dados, condensando o que precisa ser enviado para fora do chip em alguns bytes.

Requisitos de baixa latência. Seja em uma rede com ou sem fio, realizar cálculos de IA em um data center remoto significa uma latência de ida e volta de pelo menos 1–2 milissegundos no melhor caso, e dezenas ou mesmo centenas de milissegundos no pior caso. Executar IA no dispositivo usando um chip de IA de ponta reduziria isso para nanossegundos - crítico para usos em que o dispositivo deve coletar, processar e agir sobre os dados virtualmente instantaneamente. Veículos autônomos, por exemplo, devem coletar e processar grandes quantidades de dados de sistemas de visão computacional para identificar objetos, bem como dos sensores que controlam as funções do veículo. Eles devem então converter esses dados em decisões imediatamente - quando virar, frear ou acelerar - para operar com segurança. Para fazer isso, os veículos autônomos devem processar muitos dos dados que coletam no próprio veículo. A baixa latência também é importante para os robôs, e será ainda mais importante à medida que os robôs emergem das configurações de fábrica para trabalhar ao lado das pessoas.

O resultado final:o edge AI será vital para aplicativos com muitos dados

A disseminação de chips de IA de ponta provavelmente gerará mudanças significativas para consumidores e empresas. Para os consumidores, os chips de IA de ponta podem possibilitar uma infinidade de recursos - desde desbloquear o telefone, conversar com o assistente de voz e tirar fotos alucinantes em condições extremamente difíceis e sem a necessidade de uma conexão com a internet.

Mas, a longo prazo, o maior impacto dos chips de IA de ponta pode vir de seu uso na empresa, onde podem permitir que as empresas levem seus aplicativos IoT a um nível totalmente novo. Máquinas inteligentes movidas por chips de IA podem ajudar a expandir os mercados existentes, ameaçar as empresas estabelecidas e mudar a forma como os lucros são divididos em setores como manufatura, construção, logística, agricultura e energia. A capacidade de coletar, interpretar e agir imediatamente em grandes quantidades de dados é crítica para muitos dos aplicativos com muitos dados que os futuristas veem como se tornando generalizados:monitoramento de vídeo, realidade virtual, drones e veículos autônomos e muito mais. Esse futuro, em grande parte, depende do que os chips de IA de ponta possibilitarão:trazer a inteligência para o dispositivo.

Duncan Stewart e Jeff Loucks trabalham no Centro de Tecnologia, Mídia e Telecomunicações da Deloitte. Este artigo é baseado em um artigo originalmente publicado pela Deloitte para seu relatório TMT Predictions 2020.