El Coma Pedrosa nevat, vist des del Coll d'Ordino.
Coma Pedrosa, 2.942 m: el 100 %.

El fons de cada columna és el cim del Coma Pedrosa, 2.942 m: el 100 %. Els vuit primers, nota completa.

  1. 71,4 %GPT-6.1 Sol · 71,4 %
  2. 67,7 %Gemini 3.1 Pro · 67,7 %
  3. 67,5 %Gemini 4 Argon · 67,5 %
  4. 67,3 %Gemini 3.8 Flash · 67,3 %
  5. 66,3 %Gemini 3.7 Flash · 66,3 %
  6. 65,6 %Gemini 3.5 Flash · 65,6 %
  7. 65,1 %Claude Opus 5.5 · 65,1 %
  8. 64,5 %Gemini 3 Flash · 64,5 %

Qui sap Andorra?

Un benchmark públic que mesura quant saben d'Andorra els models de llenguatge.

71,4 %GPT-6.1 Sol, el primer
2.102 md'altitud, si el cim és el 100 %
44models amb les 926 preguntes puntuades
IC 95 %a cada nota
Veure la classificació

71,4 %

Qui en sap més

Cada barra és un model i mesura la part de les preguntes que encerta: el 100 % seria el cim del Coma Pedrosa, 2.942 m. Passa per sobre d'una barra per veure'n l'interval de confiança del 95 %; si dos intervals se solapen, no hi ha guanyador clar. Tria un tema per classificar-los per aquell tema.44 models avaluats, 44 amb les 926 preguntes puntuades: els tests automàticament, les obertes i les trampes amb el jutge (Gemini 3.8 Flash, per lots). Gemini 3.8 Flash també és el jutge: la seva nota a les obertes i trampes pot estar inflada. Una resposta buida compta com a errada.

Cim · 2.942 m · 100 %
71,4 %GPT-6.1 Sol
67,7 %Gemini 3.1 Pro
67,5 %Gemini 4 Argon
67,3 %Gemini 3.8 Flash
66,3 %Gemini 3.7 Flash
65,6 %Gemini 3.5 Flash
65,1 %Claude Opus 5.5
64,5 %Gemini 3 Flash
64,5 %Gemini 3.6 Flash
62,8 %GPT-6.1 Terra
60,3 %GPT-6 Luna
56,3 %DeepSeek V4.1 Flash 1017
55,9 %DeepSeek V4 Pro
55,5 %Kimi K3
55,4 %DeepSeek V4.1 Flash
54,3 %Grok 4.7
52,4 %GLM 5.2
52,4 %Gemini 3.1 Flash-Lite
52,2 %GLM 5.3 Flash
49,6 %Beam
48,9 %Gemini 3.5 Flash-Lite
48,8 %GLM 5.3
48,3 %Nemotron 3 Ultra
48,2 %Qwen 3.8 Flash
46,7 %Claude Sonnet 5.5
46,4 %Kimi K2.6
44,4 %Mistral Large 4
43,5 %Claude Haiku 5.5
43,3 %maia 12B
41,2 %Grok 4.20
41,1 %Gemma 4 31B
38,8 %Nemotron 3 Super
37,4 %Gemma 4 12B
35,8 %gpt-oss 120B
35,1 %Gemma 4 26B-A4B
32,9 %maia E4B
31,9 %MiniMax M3
31,5 %Gemma 3 27B
31,2 %MiniMax M3.1 Flash
30,3 %Gemma 4 E4B
30,1 %Gemma 3 12B
28,8 %gpt-oss 20B
25,7 %Gemma 4 E2B
25,2 %Gemma 3 4B

La taula, model a model

GPT-6.1 Sol71,4 %68,7 % – 74,1 %2.102 mComplet

OpenAI · tancat · API

Tests 85,4 % (604) · Obertes 42,2 % (231) · Trampes 52,8 % (91)

Gemini 3.1 Pro67,7 %65,0 % – 70,5 %1.992 mComplet

Google · tancat · API

Tests 82,1 % (604) · Obertes 41,1 % (231) · Trampes 39,6 % (91)

Gemini 4 Argon67,5 %64,6 % – 70,4 %1.987 mComplet

Google · tancat · API

Tests 81,3 % (604) · Obertes 39,8 % (231) · Trampes 46,7 % (91)

Gemini 3.8 Flash67,3 %64,6 % – 70,2 %1.981 mComplet

Google · tancat · API · també és el jutge

Tests 82,1 % (604) · Obertes 42,2 % (231) · Trampes 33,0 % (91)

Gemini 3.7 Flash66,3 %63,4 % – 69,2 %1.951 mComplet

Google · tancat · API

Tests 81,6 % (604) · Obertes 41,8 % (231) · Trampes 26,9 % (91)

Gemini 3.5 Flash65,6 %62,8 % – 68,4 %1.930 mComplet

Google · tancat · API

Tests 80,6 % (604) · Obertes 40,3 % (231) · Trampes 30,2 % (91)

Claude Opus 5.565,1 %62,1 % – 67,9 %1.916 mComplet

Anthropic · tancat · API

Tests 79,6 % (604) · Obertes 31,4 % (231) · Trampes 54,4 % (91)

Gemini 3 Flash64,5 %61,7 % – 67,2 %1.897 mComplet

Google · tancat · API

Tests 79,8 % (604) · Obertes 39,0 % (231) · Trampes 27,5 % (91)

Gemini 3.6 Flash64,5 %61,7 % – 67,4 %1.897 mComplet

Google · tancat · API

Tests 79,1 % (604) · Obertes 39,8 % (231) · Trampes 29,7 % (91)

GPT-6.1 Terra62,8 %59,9 % – 65,7 %1.849 mComplet

OpenAI · tancat · API

Tests 77,1 % (604) · Obertes 34,4 % (231) · Trampes 40,1 % (91)

GPT-6 Luna60,3 %57,2 % – 63,5 %1.773 mComplet

OpenAI · tancat · API

Tests 75,8 % (604) · Obertes 32,9 % (231) · Trampes 26,4 % (91)

DeepSeek V4.1 Flash 101756,3 %53,5 % – 59,4 %1.655 mComplet

DeepSeek · obert · Ollama Cloud

Tests 72,0 % (604) · Obertes 27,9 % (231) · Trampes 23,6 % (91)

DeepSeek V4 Pro55,9 %52,7 % – 58,9 %1.644 mComplet

DeepSeek · obert · Ollama Cloud

Tests 73,5 % (604) · Obertes 27,5 % (231) · Trampes 11,0 % (91)

Kimi K355,5 %52,4 % – 58,6 %1.631 mComplet

Moonshot · obert · Ollama Cloud

Tests 70,0 % (604) · Obertes 29,4 % (231) · Trampes 24,7 % (91)

DeepSeek V4.1 Flash55,4 %52,5 % – 58,3 %1.630 mComplet

DeepSeek · obert · Ollama Cloud

Tests 69,7 % (604) · Obertes 30,5 % (231) · Trampes 23,6 % (91)

Grok 4.754,3 %51,3 % – 57,4 %1.598 mComplet

xAI · tancat · API

Tests 68,7 % (604) · Obertes 27,1 % (231) · Trampes 28,0 % (91)

GLM 5.252,4 %49,3 % – 55,2 %1.541 mComplet

Z.ai · obert · Ollama Cloud

Tests 69,7 % (604) · Obertes 22,9 % (231) · Trampes 12,1 % (91)

Gemini 3.1 Flash-Lite52,4 %49,4 % – 55,5 %1.541 mComplet

Google · tancat · API

Tests 67,9 % (604) · Obertes 26,2 % (231) · Trampes 15,9 % (91)

GLM 5.3 Flash52,2 %49,2 % – 55,2 %1.535 mComplet

Z.ai · obert · Ollama Cloud

Tests 66,2 % (604) · Obertes 27,7 % (231) · Trampes 20,9 % (91)

Beam49,6 %46,7 % – 52,6 %1.460 mComplet

obert · Ollama Cloud

Tests 66,1 % (604) · Obertes 19,9 % (231) · Trampes 15,9 % (91)

Gemini 3.5 Flash-Lite48,9 %46,0 % – 51,9 %1.439 mComplet

Google · tancat · API

Tests 62,4 % (604) · Obertes 25,3 % (231) · Trampes 19,2 % (91)

GLM 5.348,8 %45,6 % – 52,0 %1.436 mComplet

Z.ai · obert · Ollama Cloud

Tests 63,4 % (604) · Obertes 22,7 % (231) · Trampes 18,1 % (91)

Nemotron 3 Ultra48,3 %45,4 % – 51,3 %1.422 mComplet

NVIDIA · obert · Ollama Cloud

Tests 65,7 % (604) · Obertes 18,0 % (231) · Trampes 9,9 % (91)

Qwen 3.8 Flash48,2 %45,0 % – 51,1 %1.419 mComplet

Alibaba · tancat · API

Tests 64,7 % (604) · Obertes 17,8 % (231) · Trampes 15,9 % (91)

Claude Sonnet 5.546,7 %43,7 % – 49,8 %1.374 mComplet

Anthropic · tancat · API

Tests 59,1 % (604) · Obertes 18,2 % (231) · Trampes 36,8 % (91)

Kimi K2.646,4 %43,4 % – 49,6 %1.366 mComplet

Moonshot · obert · Ollama Cloud

Tests 61,9 % (604) · Obertes 18,2 % (231) · Trampes 15,4 % (91)

Mistral Large 444,4 %41,4 % – 47,5 %1.307 mComplet

Mistral · obert · Ollama Cloud

Tests 61,1 % (604) · Obertes 16,7 % (231) · Trampes 4,4 % (91)

Claude Haiku 5.543,5 %40,4 % – 46,5 %1.279 mComplet

Anthropic · tancat · API

Tests 57,0 % (604) · Obertes 14,5 % (231) · Trampes 27,5 % (91)

maia 12B43,3 %40,2 % – 46,5 %1.274 mComplet

maia project · obert · Gemma 4 12B fine-tuned on Andorra

Tests 60,3 % (604) · Obertes 13,9 % (231) · Trampes 5,5 % (91)

Grok 4.2041,2 %38,1 % – 44,3 %1.212 mComplet

xAI · tancat · API

Tests 54,3 % (604) · Obertes 17,1 % (231) · Trampes 15,4 % (91)

Gemma 4 31B41,1 %37,9 % – 44,3 %1.210 mComplet

Google · obert · Ollama Cloud

Tests 56,1 % (604) · Obertes 14,7 % (231) · Trampes 8,8 % (91)

Nemotron 3 Super38,8 %35,7 % – 41,9 %1.141 mComplet

NVIDIA · obert · Ollama Cloud

Tests 54,0 % (604) · Obertes 13,2 % (231) · Trampes 2,8 % (91)

Gemma 4 12B37,4 %34,5 % – 40,6 %1.101 mComplet

Google · obert · local

Tests 51,5 % (604) · Obertes 13,0 % (231) · Trampes 6,0 % (91)

gpt-oss 120B35,8 %32,8 % – 38,7 %1.052 mComplet

OpenAI · obert · Ollama Cloud

Tests 49,7 % (604) · Obertes 11,3 % (231) · Trampes 5,5 % (91)

Gemma 4 26B-A4B35,1 %32,0 % – 38,1 %1.033 mComplet

Google · obert · Vertex

Tests 47,5 % (604) · Obertes 12,1 % (231) · Trampes 11,0 % (91)

maia E4B32,9 %29,9 % – 35,9 %969 mComplet

maia project · obert · Gemma 4 E4B fine-tuned on Andorra

Tests 46,2 % (604) · Obertes 9,3 % (231) · Trampes 5,0 % (91)

MiniMax M331,9 %29,0 % – 34,9 %937 mComplet

MiniMax · obert · Ollama Cloud

Tests 45,7 % (604) · Obertes 6,7 % (231) · Trampes 3,9 % (91)

Gemma 3 27B31,5 %28,5 % – 34,3 %928 mComplet

Google · obert · local

Tests 44,7 % (604) · Obertes 8,9 % (231) · Trampes 1,7 % (91)

MiniMax M3.1 Flash31,2 %28,3 % – 34,1 %917 mComplet

MiniMax · obert · Ollama Cloud

Tests 45,5 % (604) · Obertes 4,8 % (231) · Trampes 2,8 % (91)

Gemma 4 E4B30,3 %27,5 % – 33,0 %891 mComplet

Google · obert · local

Tests 42,4 % (604) · Obertes 9,1 % (231) · Trampes 3,9 % (91)

Gemma 3 12B30,1 %27,2 % – 33,0 %885 mComplet

Google · obert · local

Tests 43,4 % (604) · Obertes 6,5 % (231) · Trampes 1,7 % (91)

gpt-oss 20B28,8 %26,1 % – 31,7 %848 mComplet

OpenAI · obert · Ollama Cloud

Tests 41,4 % (604) · Obertes 6,3 % (231) · Trampes 2,8 % (91)

Gemma 4 E2B25,7 %23,1 % – 28,5 %755 mComplet

Google · obert · local

Tests 38,1 % (604) · Obertes 3,0 % (231) · Trampes 0,5 % (91)

Gemma 3 4B25,2 %22,5 % – 27,9 %740 mComplet

Google · obert · local

Tests 36,6 % (604) · Obertes 4,3 % (231) · Trampes 2,2 % (91)

Dataset v1-draft (923388fb2690) · jutge Gemini 3.8 Flash · generat el 05/11/2026.

Cas d'èxit: maia

maia és el model del projecte: Gemma 4 E4B ajustat amb QLoRA en una sola GPU, amb 28.679 converses en català d'Andorra, entre les quals 830 fets verificats preguntats de moltes maneres. Es puntua exactament com qualsevol altre model. Model · dades d'entrenament · com es va entrenar

7 % → 36 %fets recordats, en 338 preguntes que no va veure a l'entrenament (Gemma 4 E4B → maia)
30,3 % → 32,9 %maia-bench, Gemma 4 E4B → maia (+2,6 punts)
103 / 7fets guanyats / perduts respecte del model base
0tipus de pregunta on empitjora

Llegiu-ho bé: la millora al benchmark encara no és estadísticament significativa, perquè el benchmark pregunta a propòsit per fets que mai entren a l'entrenament. L'ajust es nota on toca: a recordar els fets que se li han ensenyat.

maia 12B

La mateixa recepta sobre Gemma 4 12B, amb 30.288 converses, 1.609 de les quals són pràctica de tipus test sobre els fets verificats. Model · dades d'entrenament · com es va entrenar

12 % → 47 %fets recordats, en 338 preguntes que no va veure a l'entrenament (Gemma 4 12B → maia)
37,4 % → 43,3 %maia-bench, Gemma 4 12B → maia (+5,9 punts, inflat: vegeu la nota)
126 / 7fets guanyats / perduts respecte del model base
+0,8punts en preguntes sense cap pràctica semblant

Llegiu-ho bé: la major part d'aquesta millora ve de preguntes de pràctica semblants a les del benchmark. Sense elles, la millora és de +0,8 punts [−2,6, +4,1], no significativa.

On encerten i on fallen

La xifra gran és la nota del model triat en cada domini. Les barretes són tots els models amb els tests complets, en l'ordre de la classificació; la groga és el model triat. Passa per sobre d'una barreta per veure quin model és. En fosc, on el model triat falla més.

Història

73,3 %

131 preguntes · Millor: Gemini 4 Argon, 74,8 %

Institucions

65,6 %

109 preguntes · Millor: GPT-6.1 Sol, 65,6 %

Societat

71,7 %

120 preguntes · Millor: GPT-6.1 Sol, 71,7 %

Llengua

71,5 %

86 preguntes · Millor: GPT-6.1 Sol, 71,5 %

Economia

65,7 %

83 preguntes · Millor: GPT-6.1 Sol, 65,7 %

Cultura

75,0 %

82 preguntes · Millor: GPT-6.1 Sol, 75,0 %

Esports

75,0 %

76 preguntes · Millor: Gemini 3.1 Pro, 75,7 %

Territori

73,6 %

70 preguntes · Millor: GPT-6.1 Sol, 73,6 %

Costums

67,9 %

53 preguntes · Millor: GPT-6.1 Sol, 67,9 %

Política

79,0 %

38 preguntes · Millor: Gemini 3.7 Flash, 82,9 %

Gastronomia

62,9 %

35 preguntes · Millor: Gemini 3.7 Flash, 71,4 %

Vida quotidiana

79,7 %

32 preguntes · Millor: GPT-6.1 Sol, 79,7 %

Persones

77,3 %

11 preguntes · Millor: GPT-6.1 Sol, 77,3 %

Postal antiga de la Casa de la Vall, a Andorra la Vella.
La Casa de la Vall, postal de principis del segle XX.

Prova-ho

Pregunta

Carregant una pregunta…

    Com es puntua cada resposta

    604 testsCorrecció automàtica
    231 obertesJutge amb referència
    91 trampesJutge amb referència

    Primer, quatre opcions i una de bona. El model diu una lletra i es corregeix sol.

    Després, respostes lliures. El jutge les compara amb la referència: 0, 1 o 2 punts.

    Al final, una premissa falsa. Només puntua qui la rebutja.

    D'on surten les preguntes

    Cada pregunta surt d'un article sobre Andorra, porta un context escrit amb paraules pròpies i s'ha verificat contra l'original.

    Pastures a l'est del Pas de la Casa.
    926preguntes
    13dominis
    521articles font
    82preguntes no vistes
    L'estany de les Abelletes, amb muntanyes al fons.
    L'estany de les Abelletes.

    Els models generals saben dir la capital. El que mesurem és tot el que hi ha darrere: els pariatges, les parròquies, les festes, el contraban, la llengua, la gent.

    Preguntes i respostes

    La Casa de la Vall amb la muntanya al darrere.
    La Casa de la Vall avui.
    Com avaluo el meu model?

    Clona el repositori i executa python3 tools/run.py --model ollama:el-teu-model. Funciona amb Ollama, Ollama Cloud, OpenAI, Anthropic, OpenRouter i Vertex. Després, python3 tools/score.py results/<nom> i python3 tools/web.py.

    Què veu el model?

    Només la pregunta, i les quatre opcions si és un test. Mai el context ni la resposta de referència. Mateix prompt i temperatura 0 per a tothom.

    Qui puntua les respostes obertes?

    Un jutge fixat, Gemini 3.8 Flash, amb la resposta de referència, els fets clau i una llista d'errors a penalitzar. Una resposta amb un d'aquests errors no pot treure la nota màxima.

    El jutge és imparcial?

    No del tot: un jutge només detecta els errors que coneix. Per això cada pregunta porta errors típics. Quan el model avaluat és el mateix jutge, la taula ho marca.

    Què és una pregunta trampa?

    Una pregunta que dona per bo un fet fals. Puntua el model que el rebutja i diu què és cert; el que s'inventa una explicació treu un zero.

    Què són les preguntes no vistes?

    Preguntes sobre 41 fitxes reservades que mai entren a l'entrenament de maia. Mesuren si un model s'inventa el que no sap.

    Per què hi ha un interval?

    Perquè les preguntes són una mostra. L'interval surt de remostrejar-les mil vegades. Dues notes amb intervals que se solapen no es poden ordenar.

    Per què ara només compten els tests?

    Les obertes i les trampes les puntua el jutge, i aquesta passada encara no s'ha fet. Quan es faci, la nota inclourà les 926 preguntes.

    maia juga amb avantatge?

    maia és el model del projecte que ha fet el benchmark. Per això el mètode, les preguntes i el codi són públics, i la taula el marca.

    Mesura també com parla?

    Encara no. La part de llengua (perplexitat sobre parla real, test dialectal i prova cega amb andorrans) està en construcció.