PrismML leva LLMs pequenos a óculos da Qualcomm

A PrismML está a estender os seus modelos de linguagem compactos a óculos inteligentes com chips da Qualcomm, um passo que reflete a mudança mais ampla para a IA de pesos abertos que corre no dispositivo em vez de em data centers distantes. Ao manter a inferência local, a PrismML quer tirar partido das capacidades de hardware que os utilizadores já transportam, reduzindo a latência, baixando os custos de largura de banda e limitando a quantidade de dados pessoais que têm de sair dos óculos. Os óculos inteligentes são uma plataforma difícil para IA. Têm orçamentos apertados de energia e de dissipação térmica, são usados durante longos períodos e têm de responder rapidamente a comandos de voz e a contexto visual. Correr modelos grandes na nuvem pode acrescentar atraso e consumir conectividade, enquanto enviar dados da câmara e do microfone para fora do dispositivo levanta preocupações de privacidade. Os pequenos modelos de linguagem oferecem um compromisso diferente: menos conhecimento geral e profundidade de raciocínio, mas resposta mais rápida, funcionamento previsível e melhor privacidade. A abordagem da PrismML encaixa na tendência da IA de pesos abertos. Em vez de cada pedido ir para servidores remotos, os óculos poderiam tratar palavras de ativação, tarefas básicas de assistente, pedidos de reconhecimento de objetos, tradução e sugestões contextuais no momento. O papel da Qualcomm é importante porque os seus chips são desenhados para IA de borda energeticamente eficiente, com NPUs e DSPs otimizados para inferência no dispositivo. A colaboração, se for bem-sucedida, poderá tornar os óculos inteligentes mais úteis sem os tornar mais pesados ou quentes. Também poderá reduzir os custos de nuvem para os fabricantes e dar aos utilizadores mais controlo sobre os dados. Continuam a existir desafios. Os modelos pequenos têm de ser cuidadosamente comprimidos e agendados para evitar consumo excessivo de bateria. Os programadores precisam de ferramentas para atualizar modelos, gerir memória e manter um desempenho consistente entre diferentes armações. As promessas de privacidade também dependem de saber se alguns dados continuam a ser enviados para servidores como alternativa. Ainda assim, a direção é clara: a IA está a passar de serviços exclusivamente na nuvem para uma execução híbrida e local. O trabalho da PrismML com os óculos inteligentes da Qualcomm é mais um sinal de que a próxima vaga de assistentes pode viver no seu rosto, e não num data center.