El muro del escalado

Alphabet, Microsoft, Amazon y Meta gastarán este año más de 700.000 millones de dólares en infraestructura, casi el doble que en 2025, y varias casas de Wall Street ya proyectan superar el billón en 2027. Toda esa inversión descansa sobre una hipótesis con nombre técnico: las leyes de escalado. Y esa hipótesis empezó a crujir hace dos años.

En 2020 un equipo de OpenAI publicó que el error de un modelo de lenguaje baja de forma predecible cuando se multiplican tres cosas: parámetros, datos y cómputo. En 2022 DeepMind afinó la receta con el modelo Chinchilla: parámetros y datos tienen que crecer a la par, y la mayoría de modelos estaban entrenados con demasiado poco texto. La industria tomó nota y se lanzó a devorar internet. Ahí aparece el primer muro. Epoch AI estima que el texto humano de calidad disponible públicamente ronda los 300 billones de tokens y que se agotará entre 2026 y 2032. Solo tenemos un internet, y ya está leído.

La salida obvia es fabricar datos con los propios modelos. El problema es que en 2024 un grupo de Oxford y Cambridge demostró en Nature que entrenar modelos con texto generado por modelos produce defectos irreversibles: cada generación olvida las colas de la distribución, lo raro, lo minoritario, hasta que el resultado converge en un promedio sin matices. Lo llamaron colapso del modelo. Una IA que aprende de otra IA se parece cada vez más a una fotocopia de una fotocopia.

El segundo muro lo reconoció quien menos interés tenía en reconocerlo. Ilya Sutskever, cofundador de OpenAI, dijo en diciembre de 2024 que el preentrenamiento tal y como lo conocemos terminará, porque los datos no crecen. Un mes antes había admitido a Reuters que los resultados de escalar se habían estancado. La respuesta de los laboratorios fue desplazar el gasto hacia el razonamiento en tiempo de inferencia: en lugar de un modelo más grande, un modelo que piensa más rato antes de responder. Funciona, pero cambia la economía del negocio. El coste ya no está en entrenar una vez sino en cada consulta.

Si el rendimiento del preentrenamiento se aplana y el de la inferencia cuesta electricidad por cada respuesta, el negocio de la IA se parece menos al software, donde copiar es gratis, y más a una eléctrica. Las eléctricas no cotizan a múltiplos de empresas de software. Alguien tendrá que explicar a los accionistas por qué pagaron una cosa y recibieron la otra, y tendrá que hacerlo antes de que lo explique el mercado.

Fuentes

Prensa

Académico / Research

Siguiente
Siguiente

No es la IA la que trata a los jóvenes como idiotas