Construyes un GPT completo desde cero. 200 líneas de Python puro, sin dependencias, sin librerías de deep learning. Al terminar entenderás cada pieza que hace funcionar a ChatGPT por dentro.
Este es el curso final del laboratorio. Cada lección enlaza exactamente lo que necesita de cursos anteriores.
Si ves un concepto que no reconoces, los enlaces te llevan directo a la lección correspondiente.
Curso Transformer ·
Redes Neuronales ·
El Gradiente ·
Álgebra Lineal
Predecir el siguiente carácter — sin magia, sin inteligencia
Las redes no ven texto — ven enteros
train0.py — contar qué carácter sigue a cuál
Por qué necesitamos parámetros ajustables
Cómo medir qué tan equivocado está el modelo
Cada cálculo deja un rastro — ese rastro es el grafo
Un número que recuerda cómo fue calculado
La regla de la cadena en el grafo, hacia atrás
Darle coordenadas ricas a cada token
Q, K, V — con números reales, paso a paso
Cuatro perspectivas en paralelo
4 192 parámetros — todos contados y explicados
Por qué inferencia es diferente al entrenamiento
Momentum + varianza — el descenso inteligente
Todo junto — la pérdida baja, el modelo inventa nombres