Lo que pasa de verdad dentro de un modelo de lenguaje
Ocho ingenieros de Google publicaron en junio de 2017 un artículo de quince páginas titulado "Attention Is All You Need". Proponían una arquitectura, el Transformer, que prescindía de la memoria secuencial y lo apostaba todo a un mecanismo de atención. Nueve años después, cada asistente que nos responde, cada resumen automático y cada vídeo generado desciende de esas quince páginas. Conviene saber qué hay dentro antes de atribuirle intenciones.
Un modelo de lenguaje no lee palabras. Trocea el texto en tokens, fragmentos de pocas letras, y convierte cada uno en una lista de números llamada embedding. En ese espacio numérico, "rey" y "reina" quedan cerca y "rey" y "tornillo" quedan lejos. La atención es el cálculo que decide, para cada token, a qué otros tokens de la frase debe prestar peso. Y al final de la cadena hay una sola operación: predecir el siguiente token. Todo lo demás, la poesía, el código, el consejo médico, es ese cálculo repetido miles de veces.
Lo que durante años fue una caja negra empieza a tener planos. En 2024 Anthropic logró extraer 34 millones de rasgos interpretables del interior de uno de sus modelos y, amplificando uno de ellos, el modelo pasó a hablar del puente Golden Gate en cualquier conversación. Un año después, la misma empresa comprobó que, al rimar, el modelo elige la palabra final antes de escribir el verso, y que la explicación que da de cómo suma dos cifras no coincide con el mecanismo que usa para sumarlas. Dicho de otro modo: el modelo no sabe lo que hace. Cuando se le pide que detecte un concepto inyectado en su propio interior, acierta una de cada cinco veces.
Esa es la paradoja técnica que el relato público prefiere ignorar. Hablamos de máquinas que "piensan", "quieren" o "se escapan", y lo que hay es estadística a escala industrial. Una escala, eso sí, que cuesta dinero de verdad: entrenar un modelo de frontera como Grok 4 rondó los 490 millones de dólares y el coste de los grandes entrenamientos se multiplica por 2,4 cada año. Curiosamente, los modelos más usados ya no son los más grandes: GPT-4 rondaba el billón y medio de parámetros y su sucesor de uso masivo se quedó en unos 200.000 millones. Quien paga la factura prefiere eficiencia a tamaño.
Entender que dentro no hay nadie tiene una consecuencia poco amable para quienes nos venden miedo o magia. Si el sistema es un predictor de tokens, el poder no está en el sistema sino en quien decide con qué datos se entrena, qué se le permite responder y quién se queda con lo que le contamos. Convendría prestar a esa pregunta la misma atención que la máquina reparte entre sus tokens.
Fuentes
Académico / Research
Vaswani, A. et al. (2017). "Attention Is All You Need". arXiv. https://arxiv.org/abs/1706.03762
Anthropic (2024). Scaling Monosemanticity. Transformer Circuits. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html
Anthropic (2025). Tracing the thoughts of a large language model. https://www.anthropic.com/news/tracing-thoughts-language-model
Anthropic (2025). Emergent introspective awareness in LLMs. https://www.anthropic.com/research/introspection
Institucional / Datos
Epoch AI (2025). Grok 4 training resources. https://epoch.ai/data-insights/grok-4-training-resources
Epoch AI (2024). How much does it cost to train frontier AI models? https://epoch.ai/blog/how-much-does-it-cost-to-train-frontier-ai-models
Epoch AI (2024). Frontier language models have become much smaller. https://epoch.ai/gradient-updates/frontier-language-models-have-become-much-smaller
