Se perguntarmos a qualquer ‘usuário médio’ qual é o melhor modelo de IA (pelo menos, IA geradora de texto), a maioria das pessoas provavelmente responderá “ChatGPT“. Afinal, tem sido assim desde o seu lançamento, apesar da crescente concorrência. E, no entanto, embora ainda sem fazer muito barulho, o status quo da IA parece estar a mudar.
Quem conseguiu tal feito foi o lançamento do modelo de linguagem Claude 3, desenvolvido pela Anthropic, e que chegou ao mercado apontando caminhos. A estreia foi tão promissora que superou o GPT-4 em vários testes que mediram todos tipos de habilidades.
O Chatbot Arena não mente
Agora, o prestigiado ranking Chatbot Arena (que avalia, como o próprio nome sugere, as IAs utilizadas como ‘cérebros’ dos chatbots) foi atualizado recentemente. E o resultado final é que o GPT-4 não é mais o rei da categoria, perdendo o posto para o Claude 3 Opus.
O Chatbot Arena é uma iniciativa da organização Large Model Systems (LMSYS ORG) em colaboração com diversas universidades renomadas, e já se tornou referência para avaliação objetiva de modelos de linguagem em larga escala (LLMs).
Graças a um método interativo que permite aos usuários votar no modelo que melhor responde às suas dúvidas ou tarefas (você também pode participar, clicando aqui), este projeto proporcionou uma plataforma única que destaca tanto os aspectos técnicos quanto as impressões subjetivas que os usuários percebemos ao interagir com essas IAs.
O princípio é básico. Ao entrar no site, dois modelos de IA (nomes não revelados) são apresentados. Abaixo, você pode escrever qualquer coisa e ambos os bots irão te responder. Você pode manter a conversa o quanto quiser e no final dizer qual das duas IA foi melhor, se foi empate ou se ambas foram ruins. Depois do voto, o Chatbot Arena revela a identidade das IAs.
Assim, os votos de mais 500 mil utilizadores moldaram um ranking liderado pelo Claude 3 Opus, um modelo que não só conseguiu destacar-se em termos de desempenho técnico, mas também capturou a preferência dos utilizadores graças à sua capacidade de “entender” e responder de uma forma mais rápida, coerente e útil – aspecto que, embora menos tangível, é crucial para o sucesso junto ao público.
OpenAI deve reagir
A ascensão de Claude 3 ao topo representa não apenas uma vitória para a Anthropic mas também um avanço significativo para todo o setor, o que demonstra que não está condenado a ‘seguir’ atrás da OpenAI, mas sim tem capacidade competitiva. Isto é algo muito relevante numa altura em que a OpenAI acaba de apresentar duas IAs que ameaçam trazer a sua capacidade monopolista também para a geração de vídeo e síntese de voz.
Por outro lado, não podemos esquecer que o GPT-4 está ativo há um ano, com todo o mérito que isso implica. Além disso, o lançamento do GPT-5 parece ser algo cada vez menos distante. Tanto é que no final de março alguns clientes empresariais da OpenAI já teriam recebido algumas amostras do GPT-5 e versões melhoradas do ChatGPT baseadas neste modelo.
Inscreva-se no canal do IGN Brasil no Youtube e visite as nossas páginas no Facebook, Twitter, Instagram e Twitch!
