maia es Gemma 4 ajustado para conocer Andorra. Han hecho falta seis intentos. Enseñarle el estilo fue fácil; enseñarle hechos, no. Los modelos actuales recuerdan mucho más de lo que se les ha enseñado, pero todavía no saben más de lo que no se les ha enseñado.
338 preguntas sobre hechos de los datos de entrenamiento, con una redacción que nunca vio. La respuesta debe contener las palabras clave esperadas.
926 preguntas sobre Andorra, la misma prueba que cualquier otro modelo. El mejor modelo de la clasificación saca un 71,4 %.
No leas el 43,3 % tal cual: esta mejora está inflada. En las preguntas sin ninguna práctica parecida, la mejora es de +0,8 puntos, y no es significativa.
Cada intento cambió una cosa y se midió contra el modelo base del que partía.
1 · E4B, 17.885 conversaciones
Catalán fluido con tono de Andorra, y errores dichos con más seguridad. Benchmark 30,3 → 31,0 %, ningún cambio real. Las preguntas abiertas bajaron del 9,1 al 5,6 %.
Lección: ver un hecho una vez en una frase no lo hace recuperable.
2 · E4B, 18.738 conversaciones
Se reescribieron 284 respuestas que citaban un documento invisible y se añadieron 943 preguntas básicas. Benchmark 30,0 %. Las abiertas se quedaron en el 5,8 %.
Lección: un 5 % más de hechos no mueve la aguja.
3 · Piloto E4B, 50 hechos
Cada hecho se preguntó de 11 maneras, con respuestas redactadas cada vez de forma distinta. El recuerdo en 50 preguntas nuevas subió del 6 al 66 %. Apareció un error nuevo: confundía hechos parecidos.
Lección: la repetición con variación funciona, y los hechos parecidos necesitan ejemplos de contraste.
4 · E4B, 28.679 conversaciones
830 hechos verificados, 124 grupos de contraste. El recuerdo subió del 7 al 36 %. Benchmark 30,3 → 32,9 %, +2,6 puntos con un intervalo del 95 % de −0,6 a +5,9, así que no significativo.
Lección: los hechos enseñados se quedan, y las abiertas ya no empeoran.
5 · 12B, 28.679 conversaciones
Benchmark 35,0 % contra el 37,4 % de su base. Respondía con una frase en lugar de una letra en 67 de 604 preguntas de tipo test, porque los datos no tenían ninguna conversación de tipo test.
Lección: el ajuste puede borrar un formato que el modelo base ya sabía.
6 · 12B, 30.288 conversaciones
Se añadieron 1.609 preguntas de práctica de tipo test. Ya no hay ninguna respuesta sin letra. El recuerdo subió del 12 al 47 %. Benchmark 37,4 → 43,3 %, pero la mayor parte de esa mejora no es conocimiento.
Lección: el filtro contra preguntas parecidas era demasiado flojo.
Todo parte de un corpus público sobre Andorra, con un registro de procedencia para cada fuente. Las preguntas del benchmark y los artículos que reserva quedan fuera del entrenamiento.
18.738 conversaciones escritas a partir del corpus y preguntas básicas. 9.941 del canon: 830 hechos atómicos, cada uno preguntado de unas 11 maneras, más contraste entre hechos fáciles de confundir. 1.609 preguntas de tipo test sobre los mismos hechos (el bloque rojo estrecho), respondidas solo con la letra.
| Método | QLoRA, Unsloth |
|---|---|
| GPU | 1 NVIDIA L4, spot |
| LoRA r / alpha | 32 / 32 |
| Épocas | 2 |
| Tasa de aprendizaje | 2e-4 |
| Lote | E4B 4×4 · 12B 2×8 |
| Pasos | E4B 3.586 · 12B 3.786 |
| Pérdida | solo respuestas |
Antes de publicar, se buscaron correos, teléfonos y documentos de identidad en los datos, y no se encontró ninguno. Las opciones falsas de tipo test son inventadas, y algunas tenían nombres completos que no salen en ningún otro punto del corpus. Andorra tiene unas 85.000 personas, así que un nombre así podría coincidir con un particular real.
43 de esas conversaciones se usaron para entrenar pero no se publican, de modo que el fichero público tiene 30.245 de las 30.288. Los nombres se eligieron a mano y no se contrastaron con fuentes, así que el filtro no prueba que los datos estén limpios.
Un solo comando lo arranca todo en Google Cloud. Nada corre en un portátil.
Son baratas, pero Google puede recuperarlas en cualquier momento. En el primer entrenamiento completo, la VM se perdió en el paso 831 y no había ninguna L4 libre en toda la región. Se perdieron unos 18 minutos de GPU y se reanudó desde un checkpoint en otra región.
Una interrupción a mitad de compilación dejó ficheros corruptos y la cuantización falló al enlazar. Ahora se compila desde cero. El vigilante solo cambia de zona cuando una VM no arranca, así que una zona que interrumpe a menudo una VM en marcha sigue costando tiempo.
La práctica de tipo test se escribió a partir de los hechos, sin ver el benchmark. Pero ambos preguntan por los mismos hechos, así que muchas preguntas de práctica se parecen a las del benchmark. Solo se descartaron las casi idénticas, con una coincidencia de palabras de 0,5 o más. Ese límite era demasiado flojo.
Mejora contra Gemma 4 12B, en puntos, con su intervalo del 95 % (bootstrap emparejado). La marca blanca es el cero. Un intervalo que la cruza no es significativo. La similitud es la coincidencia de palabras con la pregunta de práctica más cercana.
El recuerdo de los hechos enseñados es real, porque esas 338 preguntas quedan fuera del entrenamiento. El formato también está arreglado: ninguna respuesta sin letra, contra 6 del modelo base y 67 del intento anterior.
Estos modelos son experimentales. Todavía se inventan cosas. Preguntado por la Querimònia, que no sale en ningún punto de los datos de entrenamiento, el 12B describe con seguridad otra cosa. Las trampas no han mejorado: 6,0 → 5,5 %, dentro del ruido. Una cifra más limpia pide un filtro más estricto y un entrenamiento nuevo.
Modelos, datos y código, con una versión etiquetada por entrenamiento.