Radiografía de un LLM

Cómo leer este grafo: cada columna es una capa (entrada → salida). Cada puntito es una dimensión del estado residual del modelo — no una "neurona" en sentido biológico, sino un componente de la representación interna. Que se encienda = que esa dimensión tuvo una activación alta al procesar tu pregunta.

⚖️ Tres precisiones para no malinterpretar:
• Token, no palabra: el modelo genera unidades llamadas tokens ("gener"+ales", no la palabra completa a la vez).
• Intensidad ≠ importancia: que una capa tenga más magnitud no significa que sea la más importante. Medir la magnitud muestra dónde hay actividad; saber qué importa exige intervenir sobre el modelo.
• Lectura aproximada de capas: las probabilidades de las capas intermedias (logit lens) son una lente, no "lo que la capa pensaba". Solo las probabilidades finales son exactas.

Conclusión honesta: la radiografía muestra dónde hay actividad durante la generación. Es un osciloscopio. Para saber qué actividad importa hay que apagar capas y medir cuánto cambia el resultado (causalidad) — ese es el siguiente paso.