Poucas semanas após o código aberto do Grok-1 , o xAI de Elon Musk anunciou uma versão atualizada de seu modelo proprietário de linguagem grande (LLM) – Grok-1.5.
Com lançamento previsto para a próxima semana, Grok-1.5 traz recursos aprimorados de raciocínio e resolução de problemas e se aproxima do desempenho de LLMs abertos e fechados conhecidos, incluindo GPT-4 da OpenAI e Claude 3 da Anthropic . Ele também é capaz de processar contextos longos, mas permanece atrás da janela de contexto do Gemini 1.5 Pro de até 1 milhão de tokens .
Musk observou que o Grok-1.5 irá alimentar o chatbot desafiador ChatGPT da xAI na plataforma X, enquanto o Grok-2, o sucessor do novo modelo, ainda está em fase de treinamento. Ele disse que a próxima versão deveria ser capaz de “exceder a IA atual em todas as métricas”, mas não compartilhou detalhes de quando ela poderá estar disponível.
O que o Grok-1.5 traz para a mesa?
xAI anunciou Grok-1 em novembro passado , dizendo que a IA foi modelada com base no “Guia do Mochileiro das Galáxias” e pode responder a quase qualquer coisa para ajudar a humanidade em sua busca por compreensão e conhecimento – independentemente de antecedentes ou opiniões políticas. Em benchmarks como GSM8K, HumanEval e MMLU, compartilhados por xAI, Grok-1 superou Llama-2-70B e GPT-3.5.
Agora, com o lançamento do Grok-1.5, a empresa está desenvolvendo esse trabalho, entregando melhorias significativas em relação ao modelo anterior em todos os principais benchmarks, incluindo aqueles relacionados à codificação e tarefas relacionadas à matemática.
“Em nossos testes, o Grok-1.5 alcançou uma pontuação de 50,6% no benchmark MATH e uma pontuação de 90% no benchmark GSM8K, dois benchmarks matemáticos que cobrem uma ampla gama de problemas de competição do ensino fundamental ao ensino médio. Além disso, obteve pontuação de 74,1% no benchmark HumanEval, que avalia geração de código e habilidades de resolução de problemas”, observou xAI em uma postagem no blog .
No benchmark MMLU, que avalia as capacidades de compreensão de linguagem dos modelos de IA em diversas tarefas, o novo modelo obteve 81,3%, superando os 73% do Grok-1 por uma margem significativa.
Além disso, a xAI também confirmou que Grok-1.5 possui uma janela de contexto de até 128.000 tokens (tokens são partes inteiras ou subseções de palavras, imagens, vídeos, áudio ou código). Isso permite que o modelo absorva e processe grandes quantidades de informações de uma só vez – 16 vezes mais que o Grok-1, tornando-o mais adequado para analisar, resumir e extrair informações de documentos longos. Ele pode até lidar com prompts mais longos e complexos, mantendo a capacidade de seguir instruções.
Aproximando-se de OpenAI e Anthropic
Com capacidades aprimoradas de raciocínio e resolução de problemas, o Grok-1.5 não apenas supera seu antecessor em benchmarks, mas também se aproxima dos modelos populares de código aberto e fechado, incluindo Gemini 1.5 Pro, GPT-4 e Claude 3.
Por exemplo, no MMLU, a pontuação do Grok-1.5 de 81,3% supera o recentemente introduzido Mistral Large, mas fica atrás do Gemini 1.5 Pro (83,7%), GPT-4 (86,4%, em março de 2023) e Claude 3 Opus ( 86,8%). Uma lacuna semelhante foi observada no benchmark GSM8K, com o modelo xAI logo atrás das ofertas do Google, OpenAI e Anthropic.
Notavelmente, o único benchmark onde o Grok-1.5 parecia ter uma vantagem foi o HumanEval, onde superou todos os modelos, exceto Claude 3 Opus. A xAI espera continuar essas melhorias e entregar mais ganhos de desempenho com o Grok-2, que, segundo Musk, deve superar a IA atual em todas as métricas. O modelo está sendo treinado no momento.
Brian Roemmele , consultor de tecnologia, disse que com base em seu trabalho com Grok-1, Grok-2 “será uma das plataformas LLM AI mais poderosas quando for lançado. Superará o OpenAI em quase todas as métricas.”
Disponibilidade do Grok-1.5
Quanto ao Grok-1.5, o xAI planeja iniciar a implantação na próxima semana. A empresa afirma que o modelo estará disponível inicialmente para os primeiros testadores e para aqueles que já utilizam o chatbot Grok na plataforma X (Twitter) – com acesso em tempo real a todas as postagens da plataforma. O lançamento será faseado, com a empresa melhorando o modelo e introduzindo vários novos recursos – provavelmente incluindo um novo modo de diversão descontrolado – enquanto o disponibiliza gradualmente para um conjunto mais amplo de usuários.
E ai o que você achou? Ajude-nos a crescer. Compartilhe essa matéria e nos sigam no instagram , facebook e no pinterest. Até a próxima.