El modelo no trabaja exactamente con palabras, sino con tokens: fragmentos de palabras de unas cuatro letras de media en inglés. El significado se procesa como una cadena de estos fragmentos y no como una sola unidad. Este pequeño detalle tiene consecuencias visibles: ayuda a explicar por qué históricamente los modelos han tenido dificultades para contar letras o invertir una cadena, pues no ven las letras como tú.
Durante el entrenamiento se muestran al modelo enormes cantidades de texto con partes ocultas y se le pide que prediga lo que falta. Cada error ajusta ligeramente sus parámetros internos. Al repetirlo sobre una gran parte de internet escrito, los ajustes se acumulan hasta absorber, en la práctica, la forma estadística del lenguaje: cómo se estructuran las explicaciones, cómo se escribe código y cómo se construyen argumentos.
Cuando envías un mensaje, este y la conversación previa forman el contexto. El modelo predice el siguiente token, lo añade y repite hasta decidir que la respuesta ha terminado. No recupera información ni razona como una persona, aunque los modelos más recientes se entrenan para generar pasos intermedios antes de responder, lo que mejora los resultados en problemas de varias etapas.
Tras el entrenamiento principal, los modelos pasan por etapas adicionales que moldean su comportamiento más que su conocimiento: aprenden a seguir instrucciones, ser útiles y rechazar ciertas solicitudes. Por eso dos modelos entrenados con materiales similares pueden sentirse muy distintos. Gran parte de lo que percibes como la personalidad del modelo procede de esta etapa, no de la arquitectura subyacente.