🌿 · Curso 7 de 7 · Avanzado aplicado
Los modelos de lenguaje preentrenados son increíbles — pero demasiado grandes, demasiado genéricos y demasiado caros para correr. En este curso aprendes las técnicas que usan los equipos de IA reales para adaptarlos, comprimirlos y hacerlos útiles en cualquier tarea.
Este curso asume que completaste los 6 cursos anteriores del laboratorio. En particular necesitarás: álgebra lineal (LoRA usa descomposición de matrices), el gradiente (para entender por qué fine-tuning es caro), PyTorch (el código usa PyTorch y HuggingFace) y Transformer (para entender los bloques del modelo que adaptamos).
📦 Bloque 1 · El ecosistema (lecciones 01–04)
El mercado de modelos preentrenados y sus tres componentes: models, tokenizers, datasets.
pipeline() — clasificar, resumir, traducir y generar sin entrenar nada.
BPE real con la librería tokenizers, padding, truncation, attention mask.
Por qué el modelo sabe mucho pero no lo que tú necesitas. Pre-entrenamiento vs fine-tuning vs instrucción.
🔧 Bloque 2 · Fine-tuning (lecciones 05–08)
La idea, el coste, cuándo tiene sentido. Forward + backward por todos los parámetros.
Dataset de HuggingFace, DataCollator, splits, formatos de instrucción.
Entrenar sin escribir el bucle a mano. TrainingArguments, callbacks, checkpoints.
accuracy, F1, perplexity. Cómo saber si el fine-tuning funcionó — y si sobreentrenó.
⚡ Bloque 3 · Ajuste eficiente — PEFT (lecciones 09–11)
Cuánta memoria ocupa el modelo, los gradientes y el optimizador. La motivación para PEFT.
Descomposición de rango bajo — el atajo de álgebra lineal. Solo se entrenan dos matrices pequeñas.
Combinar LoRA con cuantización. Fine-tuning de un LLM real en Google Colab.
🗜️ Bloque 4 · Compresión (lecciones 12–13)
De float32 (4 bytes/peso) a int4 (1 byte). Qué se pierde, qué se gana. Cálculo numérico paso a paso.
Eliminar pesos pequeños o neuronas enteras. Relación con autovalores y rango de la matriz.
🎓 Bloque 5 · Destilación y proyecto final (lecciones 14–15)