El Coma Pedrosa nevado, visto desde el Coll d'Ordino.
Coma Pedrosa, 2.942 m: el 100 %.

El fondo de cada columna es la cima del Coma Pedrosa, 2.942 m: el 100 %. Los ocho primeros, nota completa.

  1. 71,4 %GPT-6.1 Sol · 71,4 %
  2. 67,7 %Gemini 3.1 Pro · 67,7 %
  3. 67,5 %Gemini 4 Argon · 67,5 %
  4. 67,3 %Gemini 3.8 Flash · 67,3 %
  5. 66,3 %Gemini 3.7 Flash · 66,3 %
  6. 65,6 %Gemini 3.5 Flash · 65,6 %
  7. 65,1 %Claude Opus 5.5 · 65,1 %
  8. 64,5 %Gemini 3 Flash · 64,5 %

¿Quién sabe de Andorra?

Un benchmark público que mide cuánto saben de Andorra los modelos de lenguaje.

71,4 %GPT-6.1 Sol, el primero
2.102 mde altitud, si la cima es el 100 %
44modelos con las 926 preguntas puntuadas
IC 95 %en cada nota
Ver la clasificación

71,4 %

Quién sabe más

Cada barra es un modelo y mide la parte de las preguntas que acierta: el 100 % sería la cima del Coma Pedrosa, 2.942 m. Pasa por encima de una barra para ver su intervalo de confianza del 95 %; si dos intervalos se solapan, no hay ganador claro. Elige un tema para clasificarlos por ese tema.44 modelos evaluados, 44 con las 926 preguntas puntuadas: los tests automáticamente, las abiertas y las trampas con el juez (Gemini 3.8 Flash, por lotes). Gemini 3.8 Flash también es el juez: su nota en las abiertas y trampas puede estar inflada. Una respuesta vacía cuenta como error.

Cima · 2.942 m · 100 %
71,4 %GPT-6.1 Sol
67,7 %Gemini 3.1 Pro
67,5 %Gemini 4 Argon
67,3 %Gemini 3.8 Flash
66,3 %Gemini 3.7 Flash
65,6 %Gemini 3.5 Flash
65,1 %Claude Opus 5.5
64,5 %Gemini 3 Flash
64,5 %Gemini 3.6 Flash
62,8 %GPT-6.1 Terra
60,3 %GPT-6 Luna
56,3 %DeepSeek V4.1 Flash 1017
55,9 %DeepSeek V4 Pro
55,5 %Kimi K3
55,4 %DeepSeek V4.1 Flash
54,3 %Grok 4.7
52,4 %GLM 5.2
52,4 %Gemini 3.1 Flash-Lite
52,2 %GLM 5.3 Flash
49,6 %Beam
48,9 %Gemini 3.5 Flash-Lite
48,8 %GLM 5.3
48,3 %Nemotron 3 Ultra
48,2 %Qwen 3.8 Flash
46,7 %Claude Sonnet 5.5
46,4 %Kimi K2.6
44,4 %Mistral Large 4
43,5 %Claude Haiku 5.5
43,3 %maia 12B
41,2 %Grok 4.20
41,1 %Gemma 4 31B
38,8 %Nemotron 3 Super
37,4 %Gemma 4 12B
35,8 %gpt-oss 120B
35,1 %Gemma 4 26B-A4B
32,9 %maia E4B
31,9 %MiniMax M3
31,5 %Gemma 3 27B
31,2 %MiniMax M3.1 Flash
30,3 %Gemma 4 E4B
30,1 %Gemma 3 12B
28,8 %gpt-oss 20B
25,7 %Gemma 4 E2B
25,2 %Gemma 3 4B

La tabla, modelo a modelo

GPT-6.1 Sol71,4 %68,7 % – 74,1 %2.102 mCompleto

OpenAI · cerrado · API

Tests 85,4 % (604) · Abiertas 42,2 % (231) · Trampas 52,8 % (91)

Gemini 3.1 Pro67,7 %65,0 % – 70,5 %1.992 mCompleto

Google · cerrado · API

Tests 82,1 % (604) · Abiertas 41,1 % (231) · Trampas 39,6 % (91)

Gemini 4 Argon67,5 %64,6 % – 70,4 %1.987 mCompleto

Google · cerrado · API

Tests 81,3 % (604) · Abiertas 39,8 % (231) · Trampas 46,7 % (91)

Gemini 3.8 Flash67,3 %64,6 % – 70,2 %1.981 mCompleto

Google · cerrado · API · también es el juez

Tests 82,1 % (604) · Abiertas 42,2 % (231) · Trampas 33,0 % (91)

Gemini 3.7 Flash66,3 %63,4 % – 69,2 %1.951 mCompleto

Google · cerrado · API

Tests 81,6 % (604) · Abiertas 41,8 % (231) · Trampas 26,9 % (91)

Gemini 3.5 Flash65,6 %62,8 % – 68,4 %1.930 mCompleto

Google · cerrado · API

Tests 80,6 % (604) · Abiertas 40,3 % (231) · Trampas 30,2 % (91)

Claude Opus 5.565,1 %62,1 % – 67,9 %1.916 mCompleto

Anthropic · cerrado · API

Tests 79,6 % (604) · Abiertas 31,4 % (231) · Trampas 54,4 % (91)

Gemini 3 Flash64,5 %61,7 % – 67,2 %1.897 mCompleto

Google · cerrado · API

Tests 79,8 % (604) · Abiertas 39,0 % (231) · Trampas 27,5 % (91)

Gemini 3.6 Flash64,5 %61,7 % – 67,4 %1.897 mCompleto

Google · cerrado · API

Tests 79,1 % (604) · Abiertas 39,8 % (231) · Trampas 29,7 % (91)

GPT-6.1 Terra62,8 %59,9 % – 65,7 %1.849 mCompleto

OpenAI · cerrado · API

Tests 77,1 % (604) · Abiertas 34,4 % (231) · Trampas 40,1 % (91)

GPT-6 Luna60,3 %57,2 % – 63,5 %1.773 mCompleto

OpenAI · cerrado · API

Tests 75,8 % (604) · Abiertas 32,9 % (231) · Trampas 26,4 % (91)

DeepSeek V4.1 Flash 101756,3 %53,5 % – 59,4 %1.655 mCompleto

DeepSeek · abierto · Ollama Cloud

Tests 72,0 % (604) · Abiertas 27,9 % (231) · Trampas 23,6 % (91)

DeepSeek V4 Pro55,9 %52,7 % – 58,9 %1.644 mCompleto

DeepSeek · abierto · Ollama Cloud

Tests 73,5 % (604) · Abiertas 27,5 % (231) · Trampas 11,0 % (91)

Kimi K355,5 %52,4 % – 58,6 %1.631 mCompleto

Moonshot · abierto · Ollama Cloud

Tests 70,0 % (604) · Abiertas 29,4 % (231) · Trampas 24,7 % (91)

DeepSeek V4.1 Flash55,4 %52,5 % – 58,3 %1.630 mCompleto

DeepSeek · abierto · Ollama Cloud

Tests 69,7 % (604) · Abiertas 30,5 % (231) · Trampas 23,6 % (91)

Grok 4.754,3 %51,3 % – 57,4 %1.598 mCompleto

xAI · cerrado · API

Tests 68,7 % (604) · Abiertas 27,1 % (231) · Trampas 28,0 % (91)

GLM 5.252,4 %49,3 % – 55,2 %1.541 mCompleto

Z.ai · abierto · Ollama Cloud

Tests 69,7 % (604) · Abiertas 22,9 % (231) · Trampas 12,1 % (91)

Gemini 3.1 Flash-Lite52,4 %49,4 % – 55,5 %1.541 mCompleto

Google · cerrado · API

Tests 67,9 % (604) · Abiertas 26,2 % (231) · Trampas 15,9 % (91)

GLM 5.3 Flash52,2 %49,2 % – 55,2 %1.535 mCompleto

Z.ai · abierto · Ollama Cloud

Tests 66,2 % (604) · Abiertas 27,7 % (231) · Trampas 20,9 % (91)

Beam49,6 %46,7 % – 52,6 %1.460 mCompleto

abierto · Ollama Cloud

Tests 66,1 % (604) · Abiertas 19,9 % (231) · Trampas 15,9 % (91)

Gemini 3.5 Flash-Lite48,9 %46,0 % – 51,9 %1.439 mCompleto

Google · cerrado · API

Tests 62,4 % (604) · Abiertas 25,3 % (231) · Trampas 19,2 % (91)

GLM 5.348,8 %45,6 % – 52,0 %1.436 mCompleto

Z.ai · abierto · Ollama Cloud

Tests 63,4 % (604) · Abiertas 22,7 % (231) · Trampas 18,1 % (91)

Nemotron 3 Ultra48,3 %45,4 % – 51,3 %1.422 mCompleto

NVIDIA · abierto · Ollama Cloud

Tests 65,7 % (604) · Abiertas 18,0 % (231) · Trampas 9,9 % (91)

Qwen 3.8 Flash48,2 %45,0 % – 51,1 %1.419 mCompleto

Alibaba · cerrado · API

Tests 64,7 % (604) · Abiertas 17,8 % (231) · Trampas 15,9 % (91)

Claude Sonnet 5.546,7 %43,7 % – 49,8 %1.374 mCompleto

Anthropic · cerrado · API

Tests 59,1 % (604) · Abiertas 18,2 % (231) · Trampas 36,8 % (91)

Kimi K2.646,4 %43,4 % – 49,6 %1.366 mCompleto

Moonshot · abierto · Ollama Cloud

Tests 61,9 % (604) · Abiertas 18,2 % (231) · Trampas 15,4 % (91)

Mistral Large 444,4 %41,4 % – 47,5 %1.307 mCompleto

Mistral · abierto · Ollama Cloud

Tests 61,1 % (604) · Abiertas 16,7 % (231) · Trampas 4,4 % (91)

Claude Haiku 5.543,5 %40,4 % – 46,5 %1.279 mCompleto

Anthropic · cerrado · API

Tests 57,0 % (604) · Abiertas 14,5 % (231) · Trampas 27,5 % (91)

maia 12B43,3 %40,2 % – 46,5 %1.274 mCompleto

maia project · abierto · Gemma 4 12B fine-tuned on Andorra

Tests 60,3 % (604) · Abiertas 13,9 % (231) · Trampas 5,5 % (91)

Grok 4.2041,2 %38,1 % – 44,3 %1.212 mCompleto

xAI · cerrado · API

Tests 54,3 % (604) · Abiertas 17,1 % (231) · Trampas 15,4 % (91)

Gemma 4 31B41,1 %37,9 % – 44,3 %1.210 mCompleto

Google · abierto · Ollama Cloud

Tests 56,1 % (604) · Abiertas 14,7 % (231) · Trampas 8,8 % (91)

Nemotron 3 Super38,8 %35,7 % – 41,9 %1.141 mCompleto

NVIDIA · abierto · Ollama Cloud

Tests 54,0 % (604) · Abiertas 13,2 % (231) · Trampas 2,8 % (91)

Gemma 4 12B37,4 %34,5 % – 40,6 %1.101 mCompleto

Google · abierto · local

Tests 51,5 % (604) · Abiertas 13,0 % (231) · Trampas 6,0 % (91)

gpt-oss 120B35,8 %32,8 % – 38,7 %1.052 mCompleto

OpenAI · abierto · Ollama Cloud

Tests 49,7 % (604) · Abiertas 11,3 % (231) · Trampas 5,5 % (91)

Gemma 4 26B-A4B35,1 %32,0 % – 38,1 %1.033 mCompleto

Google · abierto · Vertex

Tests 47,5 % (604) · Abiertas 12,1 % (231) · Trampas 11,0 % (91)

maia E4B32,9 %29,9 % – 35,9 %969 mCompleto

maia project · abierto · Gemma 4 E4B fine-tuned on Andorra

Tests 46,2 % (604) · Abiertas 9,3 % (231) · Trampas 5,0 % (91)

MiniMax M331,9 %29,0 % – 34,9 %937 mCompleto

MiniMax · abierto · Ollama Cloud

Tests 45,7 % (604) · Abiertas 6,7 % (231) · Trampas 3,9 % (91)

Gemma 3 27B31,5 %28,5 % – 34,3 %928 mCompleto

Google · abierto · local

Tests 44,7 % (604) · Abiertas 8,9 % (231) · Trampas 1,7 % (91)

MiniMax M3.1 Flash31,2 %28,3 % – 34,1 %917 mCompleto

MiniMax · abierto · Ollama Cloud

Tests 45,5 % (604) · Abiertas 4,8 % (231) · Trampas 2,8 % (91)

Gemma 4 E4B30,3 %27,5 % – 33,0 %891 mCompleto

Google · abierto · local

Tests 42,4 % (604) · Abiertas 9,1 % (231) · Trampas 3,9 % (91)

Gemma 3 12B30,1 %27,2 % – 33,0 %885 mCompleto

Google · abierto · local

Tests 43,4 % (604) · Abiertas 6,5 % (231) · Trampas 1,7 % (91)

gpt-oss 20B28,8 %26,1 % – 31,7 %848 mCompleto

OpenAI · abierto · Ollama Cloud

Tests 41,4 % (604) · Abiertas 6,3 % (231) · Trampas 2,8 % (91)

Gemma 4 E2B25,7 %23,1 % – 28,5 %755 mCompleto

Google · abierto · local

Tests 38,1 % (604) · Abiertas 3,0 % (231) · Trampas 0,5 % (91)

Gemma 3 4B25,2 %22,5 % – 27,9 %740 mCompleto

Google · abierto · local

Tests 36,6 % (604) · Abiertas 4,3 % (231) · Trampas 2,2 % (91)

Dataset v1-draft (923388fb2690) · juez Gemini 3.8 Flash · generado el 05/11/2026.

Caso de éxito: maia

maia es el modelo del proyecto: Gemma 4 E4B ajustado con QLoRA en una sola GPU, con 28.679 conversaciones en catalán de Andorra, entre ellas 830 hechos verificados preguntados de muchas formas. Se puntúa exactamente igual que cualquier otro modelo. Modelo · datos de entrenamiento · cómo se entrenó

7 % → 36 %hechos recordados, en 338 preguntas que no vio en el entrenamiento (Gemma 4 E4B → maia)
30,3 % → 32,9 %maia-bench, Gemma 4 E4B → maia (+2,6 puntos)
103 / 7hechos ganados / perdidos respecto al modelo base
0tipos de pregunta en los que empeora

Léelo con cuidado: la mejora en el benchmark aún no es estadísticamente significativa, porque el benchmark pregunta a propósito por hechos que nunca entran en el entrenamiento. El ajuste se nota donde debe: en recordar los hechos que se le han enseñado.

maia 12B

La misma receta sobre Gemma 4 12B, con 30.288 conversaciones, 1.609 de ellas práctica de tipo test sobre los hechos verificados. Modelo · datos de entrenamiento · cómo se entrenó

12 % → 47 %hechos recordados, en 338 preguntas que no vio en el entrenamiento (Gemma 4 12B → maia)
37,4 % → 43,3 %maia-bench, Gemma 4 12B → maia (+5,9 puntos, inflado: mira la nota)
126 / 7hechos ganados / perdidos respecto al modelo base
+0,8puntos en preguntas sin ninguna práctica parecida

Léelo con cuidado: la mayor parte de esta mejora viene de preguntas de práctica parecidas a las del benchmark. Sin ellas, la mejora es de +0,8 puntos [−2,6, +4,1], no significativa.

Dónde aciertan y dónde fallan

La cifra grande es la nota del modelo elegido en cada dominio. Las barritas son todos los modelos con los tests completos, en el orden de la clasificación; la amarilla es el modelo elegido. Pasa por encima de una barrita para ver qué modelo es. En oscuro, donde el modelo elegido falla más.

Historia

73,3 %

131 preguntas · Mejor: Gemini 4 Argon, 74,8 %

Instituciones

65,6 %

109 preguntas · Mejor: GPT-6.1 Sol, 65,6 %

Sociedad

71,7 %

120 preguntas · Mejor: GPT-6.1 Sol, 71,7 %

Lengua

71,5 %

86 preguntas · Mejor: GPT-6.1 Sol, 71,5 %

Economía

65,7 %

83 preguntas · Mejor: GPT-6.1 Sol, 65,7 %

Cultura

75,0 %

82 preguntas · Mejor: GPT-6.1 Sol, 75,0 %

Deportes

75,0 %

76 preguntas · Mejor: Gemini 3.1 Pro, 75,7 %

Territorio

73,6 %

70 preguntas · Mejor: GPT-6.1 Sol, 73,6 %

Costumbres

67,9 %

53 preguntas · Mejor: GPT-6.1 Sol, 67,9 %

Política

79,0 %

38 preguntas · Mejor: Gemini 3.7 Flash, 82,9 %

Gastronomía

62,9 %

35 preguntas · Mejor: Gemini 3.7 Flash, 71,4 %

Vida cotidiana

79,7 %

32 preguntas · Mejor: GPT-6.1 Sol, 79,7 %

Personas

77,3 %

11 preguntas · Mejor: GPT-6.1 Sol, 77,3 %

Postal antigua de la Casa de la Vall, en Andorra la Vella.
La Casa de la Vall, postal de principios del siglo XX.

Pruébalo

Pregunta

Cargando una pregunta…

    Cómo se puntúa cada respuesta

    604 testsCorrección automática
    231 abiertasJuez con referencia
    91 trampasJuez con referencia

    Primero, cuatro opciones y una buena. El modelo dice una letra y se corrige sola.

    Después, respuestas libres. El juez las compara con la referencia: 0, 1 o 2 puntos.

    Al final, una premisa falsa. Solo puntúa quien la rechaza.

    De dónde salen las preguntas

    Cada pregunta sale de un artículo sobre Andorra, lleva un contexto escrito con palabras propias y se ha verificado contra el original. Las preguntas están en catalán, la lengua oficial de Andorra.

    Pastos al este del Pas de la Casa.
    926preguntas
    13dominios
    521artículos fuente
    82preguntas no vistas
    El lago de les Abelletes, con montañas al fondo.
    El lago de les Abelletes.

    Los modelos generales saben decir la capital. Lo que medimos es todo lo que hay detrás: los pariatges, las parroquias, las fiestas, el contrabando, la lengua, la gente.

    Preguntas y respuestas

    La Casa de la Vall con la montaña detrás.
    La Casa de la Vall hoy.
    ¿Cómo evalúo mi modelo?

    Clona el repositorio y ejecuta python3 tools/run.py --model ollama:tu-modelo. Funciona con Ollama, Ollama Cloud, OpenAI, Anthropic, OpenRouter y Vertex. Después, python3 tools/score.py results/<nombre> y python3 tools/web.py.

    ¿Qué ve el modelo?

    Solo la pregunta, y las cuatro opciones si es un test. Nunca el contexto ni la respuesta de referencia. El mismo prompt y temperatura 0 para todos.

    ¿Quién puntúa las respuestas abiertas?

    Un juez fijo, Gemini 3.8 Flash, con la respuesta de referencia, los hechos clave y una lista de errores a penalizar. Una respuesta con uno de esos errores no puede sacar la nota máxima.

    ¿El juez es imparcial?

    No del todo: un juez solo detecta los errores que conoce. Por eso cada pregunta lleva errores típicos. Cuando el modelo evaluado es el mismo juez, la tabla lo marca.

    ¿Qué es una pregunta trampa?

    Una pregunta que da por bueno un hecho falso. Puntúa el modelo que lo rechaza y dice qué es cierto; el que se inventa una explicación saca un cero.

    ¿Qué son las preguntas no vistas?

    Preguntas sobre 41 fichas reservadas que nunca entran en el entrenamiento de maia. Miden si un modelo se inventa lo que no sabe.

    ¿Por qué hay un intervalo?

    Porque las preguntas son una muestra. El intervalo sale de remuestrearlas mil veces. Dos notas con intervalos que se solapan no se pueden ordenar.

    ¿Por qué ahora solo cuentan los tests?

    Las abiertas y las trampas las puntúa el juez, y esa pasada aún no se ha hecho. Cuando se haga, la nota incluirá las 926 preguntas.

    ¿maia juega con ventaja?

    maia es el modelo del proyecto que ha hecho el benchmark. Por eso el método, las preguntas y el código son públicos, y la tabla lo marca.

    ¿Mide también cómo habla?

    Aún no. La parte de lengua (perplejidad sobre habla real, test dialectal y prueba ciega con andorranos) está en construcción.