Construí un LLM desde cero: lo que nadie cuenta de los transformers

No uso herramientas que no pueda derivar. Así que derivé esta.

Este artículo está publicado como esquema: el enunciado y la estructura están fijados, el desarrollo llega pronto.

Por qué molestarse

tinyllm: un decoder-only estilo Llama, escrito para entender los transformers desde las tripas y no desde la API de otro.

Qué está calculando de verdad el producto escalado, y por qué la escala por raíz de d_k no es un truco sino una consecuencia.

Embeddings posicionales rotatorios, normalización previa y por qué el orden de las operaciones cambia si el entrenamiento converge.

Entender el mecanismo cambia las expectativas: dejas de pedirle al modelo cosas que su arquitectura no puede darte.

Si estás pensando en hacer algo con IA y quieres hablarlo con alguien que ya lo puso en producción, escríbeme. Contesto yo.