AllenAI lanza olmo-eval para evaluar modelos durante el entrenamiento
AllenAI ha abierto olmo-eval, un banco de pruebas para modelos de lenguaje integrado directamente en el proceso de entrenamiento. En lugar de probar solo al final, evalúa en cada checkpoint, de modo que se ve en tiempo real cómo influye en los benchmarks un cambio en el conjunto de datos o en los hiperparámetros. La herramienta está publicada en Hugging Face y está pensada para investigadores que quieren que la evaluación sea parte del desarrollo y no un añadido final.
Procesado por IA desde Hugging Face Blog; editado por Hamidun News
AllenAI ha lanzado olmo-eval, una herramienta de IA para evaluar modelos de lenguaje durante el propio entrenamiento.
¿Qué es olmo-eval y dónde se consigue?
olmo-eval es un conjunto de herramientas abierto de AllenAI para evaluar modelos de lenguaje, integrado en el ciclo de entrenamiento. El proyecto está disponible en Hugging Face y está dirigido a investigadores.
¿Por qué evaluar los modelos durante el entrenamiento?
El proceso habitual: el modelo se entrena durante varios días o semanas y después se evalúa con benchmarks (ARC, HellaSwag, MMLU). olmo-eval permite a los investigadores ver cómo cambia la calidad del modelo a lo largo del entrenamiento, y no solo obtener el resultado final.
- 1 nov 2026Los modelos locales pierden ante Opus y Codex: 0,21 puntos en un MacBook frente a 1,00 de Codex
- 1 nov 2026Pika Labs publica H3 Flex, un modelo de vídeo abierto: 6 pasos en lugar de 50
- 1 nov 2026El tokenizador de BERT en Hugging Face es 50 veces más rápido tras eliminar el trabajo innecesario con ASCII
- 1 nov 2026Illinois reúne 12 151 problemas abiertos y comprueba si la IA puede resolverlos
Preguntas frecuentes sobre la noticia
¿Qué es olmo-eval y dónde se consigue?
olmo-eval es un conjunto de herramientas abierto de AllenAI para evaluar modelos de lenguaje, integrado en el ciclo de entrenamiento. El proyecto está disponible en Hugging Face y está dirigido a investigadores.
¿Por qué evaluar los modelos durante el entrenamiento?
El proceso habitual: el modelo se entrena durante varios días o semanas y después se evalúa con benchmarks (ARC, HellaSwag, MMLU). olmo-eval permite a los investigadores ver cómo cambia la calidad del modelo a lo largo del entrenamiento, y no solo obtener el resultado final.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.