A Opera lançou nesta quinta-feira (06) uma ferramenta de benchmark de IA chamada devicetest.ai.
Esta ferramenta é a primeira do mundo a ser disponibilizada para o público geral e pode ser acessada diretamente através do navegador, permitindo aos usuários verificar a capacidade de seus dispositivos para executar Inteligência Artificial (IA) localmente.
Benchmark de IA direto no navegador Opera
Disponível na versão mais recente do Opera Developer, versão do navegador que suporta modelos de linguagem local embutidos (LLMs), a implementação do devicetest.ai é mais um passo na integração da IA com o uso cotidiano dos dispositivos.
Executar IA localmente traz benefícios como novas possibilidades de uso e melhorias na privacidade dos usuários, o que elimina a necessidade de comunicação com servidores externos. No entanto, isso também submete os dispositivos a novos desafios de desempenho.
A devicetest.ai permite que usuários avaliem a capacidade de seus dispositivos para IA. Com indicadores completos, a ferramenta oferece uma análise abrangente do desempenho de PC ou Mac. Confira como acessar o recurso.
Como funciona a ferramenta devicetest.ai
Para usar a devicetest.ai, os usuários devem seguir alguns passos simples:
- Acessar o link específico utilizando o Opera Developer.
- Ler as informações relevantes e clicar em “Run Test”.
- Escolher um perfil de teste, que determinará qual modelo de IA local será baixado e usado.
- Iniciar o teste.
Os perfis de teste disponíveis variam conforme os recursos exigidos pelo modelo de IA. Dependendo das especificações do sistema e do perfil escolhido, o teste pode durar de 3 a 20 minutos. Após a conclusão, os resultados são exibidos e podem ser compartilhados ou baixados como um arquivo CSV para análise posterior.
Métricas avaliadas
Os resultados são codificados por cores para facilitar a interpretação:
- Verde indica que o dispositivo está pronto para IA.
- Amarelo significa que o dispositivo é funcional para IA.
- Vermelho aponta que o dispositivo não está pronto para IA.
As principais métricas avaliadas pela ferramenta são:
- Tokens Por Segundo (TPS):
- Definição: TPS mede quantas palavras o modelo de linguagem consegue processar por segundo. No contexto dos LLMs, um “token” pode ser uma palavra ou uma fração de uma palavra.
- Importância: Esta métrica é fundamental para avaliar a eficiência e a velocidade com que o dispositivo pode processar grandes volumes de texto, o que é crucial para aplicações de IA que dependem de respostas rápidas e precisas.
- Latência do Primeiro Token (FTL):
- Definição: FTL mede o tempo necessário para que o modelo gere a primeira palavra após receber um comando ou prompt.
- Importância: A latência é um fator crítico em aplicações de IA que requerem interação em tempo real. Menor latência significa respostas mais rápidas, melhorando a experiência do usuário, especialmente em tarefas interativas como chatbots e assistentes virtuais.
- Tempo de Carregamento do Modelo (MLT):
- Definição: MLT mede o tempo necessário para carregar o modelo de linguagem na memória RAM do dispositivo quando ele é inicializado pela primeira vez.
- Importância: Este tempo de carregamento impacta a prontidão do sistema para executar tarefas de IA. Modelos que carregam mais rapidamente permitem um início mais ágil das operações de IA, o que é importante para aplicações que necessitam de inicializações frequentes.
Detalhes dos testes
A ferramenta de benchmark realiza os testes várias vezes para garantir a consistência dos resultados. Cada teste avalia como o dispositivo lida com diferentes tarefas que um modelo de IA local executaria normalmente. A média das repetições é utilizada para fornecer um resultado confiável. Além disso, o recurso exibe as especificações do sistema e permite que os usuários vejam quais componentes do hardware estão sendo mais exigidos durante as avaliações.
Privacidade e compartilhamento da ferramenta
A Opera assegura que os dados utilizados no teste são apenas para produzir os resultados e permitir comparações com outros usuários. Não são coletadas informações pessoais, e nenhum dado é associado a usuários específicos, endereços IP ou outros identificadores.
Para acessar a plataforma de benchmark, é necessário baixar o Opera Developer.
FONTE: Opera