Elon Musk acaba de presentar la nueva versión 1.5 de Grok en la plataforma Grok, que ahora es capaz de comprender contextos más largos y razonamientos avanzados. La ventana de contexto del modelo se ha ampliado de 8.192 a 128.000 tokens, lo que le permite manejar documentos más extensos e instrucciones más complejas.

Grok 1.5 ha demostrado un rendimiento impresionante en tareas de resolución de problemas y programación, superando las capacidades de modelos anteriores como GPT-4 y MML en pruebas de referencia como BART, BESMAR y Human Level.

La capacidad de memoria y recuperación mejoradas del modelo son posibles gracias a su infraestructura, que se ejecuta en clústeres de GPU masivos y se basa en un marco de entrenamiento distribuido personalizado basado en TensorFlow y Kubernetes. 

Capacidades y razonamiento

Una de las mejoras más notables de Grok-1.5 es su rendimiento en tareas relacionadas con la codificación y las matemáticas. En nuestras pruebas, Grok-1.5 logró una puntuación del 50,6 % en la prueba comparativa de MATEMÁTICAS y una puntuación del 90 % en la prueba comparativa GSM8K, dos pruebas comparativas de matemáticas que cubren una amplia gama de problemas de competencia desde la escuela primaria hasta la escuela secundaria. Además, obtuvo una puntuación del 74,1 % en el punto de referencia HumanEval, que evalúa la generación de código y las capacidades de resolución de problemas.

Comprensión del contexto a largo plazo

Una nueva característica de Grok-1.5 es la capacidad de procesar contextos largos de hasta 128.000 tokens dentro de su ventana de contexto. Esto permite a Grok tener una capacidad de memoria aumentada de hasta 16 veces la longitud del contexto anterior, lo que le permite utilizar información de documentos sustancialmente más largos.

Además, el modelo puede manejar indicaciones más largas y complejas, manteniendo al mismo tiempo su capacidad de seguir instrucciones a medida que se expande su ventana contextual. En la evaluación Needle In A Haystack (NIAH), Grok-1.5 demostró poderosas capacidades de recuperación para texto incrustado dentro de contextos de hasta 128 000 tokens de longitud, logrando resultados de recuperación perfectos.