maia és Gemma 4 ajustat per conèixer Andorra. Han calgut sis intents. Ensenyar-li l'estil va ser fàcil; ensenyar-li fets, no. Els models actuals recorden molt més del que se'ls ha ensenyat, però encara no saben més del que no se'ls ha ensenyat.
338 preguntes sobre fets de les dades d'entrenament, amb una redacció que no va veure mai. La resposta ha de contenir les paraules clau esperades.
926 preguntes sobre Andorra, la mateixa prova que qualsevol altre model. El millor model de la classificació treu un 71,4 %.
No llegiu el 43,3 % tal qual: aquesta millora està inflada. En les preguntes sense cap pràctica semblant, la millora és de +0,8 punts, i no és significativa.
Cada intent va canviar una cosa i es va mesurar contra el model base del qual partia.
1 · E4B, 17.885 converses
Català fluid amb to d'Andorra, i errors dits amb més seguretat. Benchmark 30,3 → 31,0 %, cap canvi real. Les preguntes obertes van baixar del 9,1 al 5,6 %.
Lliçó: veure un fet una vegada en una frase no el fa recuperable.
2 · E4B, 18.738 converses
Es van reescriure 284 respostes que citaven un document invisible i es van afegir 943 preguntes bàsiques. Benchmark 30,0 %. Les obertes es van quedar al 5,8 %.
Lliçó: un 5 % més de fets no mou l'agulla.
3 · Pilot E4B, 50 fets
Cada fet es va preguntar d'11 maneres, amb respostes redactades cada vegada de manera diferent. El record en 50 preguntes noves va pujar del 6 al 66 %. Va aparèixer un error nou: confonia fets semblants.
Lliçó: la repetició amb variació funciona, i els fets semblants necessiten exemples de contrast.
4 · E4B, 28.679 converses
830 fets verificats, 124 grups de contrast. El record va pujar del 7 al 36 %. Benchmark 30,3 → 32,9 %, +2,6 punts amb un interval del 95 % de −0,6 a +5,9, per tant no significatiu.
Lliçó: els fets ensenyats es queden, i les obertes ja no empitjoren.
5 · 12B, 28.679 converses
Benchmark 35,0 % contra el 37,4 % del seu base. Responia amb una frase en lloc d'una lletra en 67 de 604 preguntes de tipus test, perquè les dades no tenien cap conversa de tipus test.
Lliçó: l'ajust pot esborrar un format que el model base ja sabia.
6 · 12B, 30.288 converses
Es van afegir 1.609 preguntes de pràctica de tipus test. Ja no hi ha cap resposta sense lletra. El record va pujar del 12 al 47 %. Benchmark 37,4 → 43,3 %, però la major part d'aquesta millora no és coneixement.
Lliçó: el filtre contra preguntes semblants era massa fluix.
Tot surt d'un corpus públic sobre Andorra, amb un registre de procedència per a cada font. Les preguntes del benchmark i els articles que reserva queden fora de l'entrenament.
18.738 converses escrites a partir del corpus i preguntes bàsiques. 9.941 del cànon: 830 fets atòmics, cadascun preguntat d'unes 11 maneres, més contrast entre fets fàcils de confondre. 1.609 preguntes de tipus test sobre els mateixos fets (el bloc vermell estret), respostes només amb la lletra.
| Mètode | QLoRA, Unsloth |
|---|---|
| GPU | 1 NVIDIA L4, spot |
| LoRA r / alpha | 32 / 32 |
| Èpoques | 2 |
| Taxa d'aprenentatge | 2e-4 |
| Lot | E4B 4×4 · 12B 2×8 |
| Passos | E4B 3.586 · 12B 3.786 |
| Pèrdua | només respostes |
Abans de publicar, es van buscar correus, telèfons i documents d'identitat a les dades, i no se'n va trobar cap. Les opcions falses de tipus test són inventades, i algunes tenien noms complets que no surten enlloc més del corpus. Andorra té unes 85.000 persones, així que un nom així podria coincidir amb un particular real.
43 d'aquestes converses es van fer servir per entrenar però no es publiquen, de manera que el fitxer públic té 30.245 de les 30.288. Els noms es van triar a mà i no es van contrastar amb fonts, així que el filtre no prova que les dades estiguin netes.
Una sola ordre ho engega tot a Google Cloud. Res no corre en un portàtil.
Són barates, però Google les pot recuperar en qualsevol moment. Al primer entrenament complet, la VM es va perdre al pas 831 i no hi havia cap L4 lliure a tota la regió. Es van perdre uns 18 minuts de GPU i es va reprendre des d'un checkpoint en una altra regió.
Una interrupció a mitja compilació va deixar fitxers corruptes i la quantització va fallar en enllaçar. Ara es compila de zero. El vigilant només canvia de zona quan una VM no arrenca, així que una zona que interromp sovint una VM en marxa continua costant temps.
La pràctica de tipus test es va escriure a partir dels fets, sense veure el benchmark. Però tots dos pregunten pels mateixos fets, així que moltes preguntes de pràctica s'assemblen a les del benchmark. Només es van descartar les gairebé idèntiques, amb una coincidència de paraules de 0,5 o més. Aquell límit era massa fluix.
Millora contra Gemma 4 12B, en punts, amb l'interval del 95 % (bootstrap aparellat). La marca blanca és el zero. Un interval que la creua no és significatiu. La similitud és la coincidència de paraules amb la pregunta de pràctica més propera.
El record dels fets ensenyats és real, perquè aquestes 338 preguntes queden fora de l'entrenament. El format també està arreglat: cap resposta sense lletra, contra 6 del model base i 67 de l'intent anterior.
Aquests models són experimentals. Encara s'inventen coses. Preguntat per la Querimònia, que no surt enlloc a les dades d'entrenament, el 12B descriu amb seguretat una altra cosa. Les trampes no han millorat: 6,0 → 5,5 %, dins del soroll. Una xifra més neta demana un filtre més estricte i un entrenament nou.
Models, dades i codi, amb una versió etiquetada per entrenament.