Inferencia lista para usar

1. Inferencia vs entrenamiento — la diferencia clave

Hasta ahora en el laboratorio entrenaste modelos: ajustabas los pesos calculando gradientes y actualizándolos. Pero hay otro modo de usar una red neuronal — simplemente pasar datos por ella y obtener una respuesta, sin cambiar ningún peso. Eso se llama inferencia (del latín inferre: deducir, concluir).

Cuando usas ChatGPT o cualquier asistente de IA, lo que ocurre es inferencia: el modelo ya está entrenado y solo "lee" tu pregunta para producir una respuesta. No aprende nada nuevo de tu conversación (al menos no en tiempo real).

2. pipeline() — todo en una línea

En la lección anterior viste que usar un modelo requería 3 pasos: cargar tokenizer, cargar modelo, y tokenizar + pasar. Para muchas tareas comunes, HuggingFace envolvió esos 3 pasos en una sola función: pipeline().

pipeline("text-classification")   equivale a:

1) Elige automáticamente un modelo bueno para esa tarea
   (si no se lo dices, usa el recomendado en el Model Hub)

2) Descarga y carga el tokenizer de ese modelo

3) Descarga y carga el modelo con sus pesos

4) Cuando lo llamas con texto:
   a) text → tokenizer → input_ids + attention_mask
   b) input_ids → model → logits
   c) logits → softmax → probabilidades
   d) probabilidades → etiqueta + score (resultado legible)

Todo eso ocurre automáticamente. Tú solo ves el resultado final.

from transformers import pipeline

# Una sola línea reemplaza los 3 pasos de la lección 1
clasificador = pipeline("text-classification")

resultado = clasificador("I absolutely love this product!")
print(resultado)

El resultado es una lista con un diccionario. Dentro del diccionario:

• label: la etiqueta ganadora ('POSITIVE' o 'NEGATIVE')
• score: la probabilidad asignada a esa etiqueta (0.9998 = 99.98% de confianza)

El resultado viene en lista aunque sea un solo texto — porque puedes pasar una lista de textos y te devuelve una lista de resultados, procesándolos de forma más eficiente que uno a uno.

3. Las tareas disponibles — el catálogo

pipeline() soporta decenas de tareas. Las más usadas en la práctica:

4. Ejemplos concretos con salidas reales

Veamos cuatro tareas distintas con sus outputs exactos:

Clasificación de sentimiento

clasificador = pipeline("text-classification")
print(clasificador([
    "Me encanta este producto",
    "Pésima experiencia, nunca más"
]))

Extracción de entidades (NER — Named Entity Recognition)

NER (se lee como las letras N-E-R) son las siglas de Named Entity Recognition — Reconocimiento de Entidades Nombradas. "Entidad nombrada" es cualquier cosa con nombre propio: una persona, una organización, un lugar, una fecha.

ner = pipeline("token-classification", aggregation_strategy="simple")
texto = "Apple was founded by Steve Jobs in Cupertino in 1976."
print(ner(texto))

ORG = organización · PER = persona · LOC = lugar. El parámetro aggregation_strategy="simple" junta tokens del mismo tipo en una sola entidad (en vez de mostrar "Steve" y "Jobs" por separado).

Preguntas y respuestas sobre un contexto

qa = pipeline("question-answering")
respuesta = qa(
    question="¿Cuántos parámetros tiene GPT-3?",
    context="GPT-3 es un modelo de lenguaje creado por OpenAI con 175 mil millones de parámetros, entrenado en 2020 sobre una gran cantidad de texto de internet."
)
print(respuesta)

El modelo no "inventa" la respuesta — la extrae del texto de contexto que le diste (marcando el inicio y fin con start y end en el texto). Si la respuesta no está en el contexto, no puede responder correctamente.

Generación de texto

generador = pipeline("text-generation", model="gpt2")
resultado = generador(
    "The future of artificial intelligence",
    max_new_tokens=40,   # cuántas palabras nuevas generar como máximo
    num_return_sequences=1
)
print(resultado[0]["generated_text"])

max_new_tokens=40 limita cuántos tokens se generan a partir del prompt inicial. El resultado puede variar porque hay aleatoriedad en la generación (cada vez que lo corres puede dar un texto diferente).

5. Elegir el modelo que quieres (no el predeterminado)

Cuando usas pipeline("text-classification") sin especificar modelo, HuggingFace elige uno predeterminado. Pero puedes elegir exactamente cuál quieres — pasando el nombre:

# Usar un modelo específico de sentimiento en español
clf_es = pipeline(
    "text-classification",
    model="lxyuan/distilbert-base-multilingual-cased-sentiments-student"
)
print(clf_es("Me encanta este curso, lo recomiendo"))

# Usar un modelo de resumen en inglés
resumen = pipeline("summarization", model="facebook/bart-large-cnn")
texto_largo = """
Artificial intelligence has transformed many industries in recent years.
From healthcare diagnostics to autonomous vehicles, AI systems are now
capable of performing tasks that previously required human intelligence.
However, challenges remain in areas such as bias, interpretability, and
the energy consumption of large models.
"""
print(resumen(texto_largo, max_length=50, min_length=20))

pipeline(
  "text-classification",      # ← la tarea (obligatorio)
  model="ruta/nombre",        # ← modelo específico (opcional, usa default si no)
  device=0,                   # ← 0 = primera GPU, -1 = CPU (default)
  batch_size=16,              # ← cuántos textos procesar a la vez (más rápido con lotes)
  truncation=True,            # ← cortar textos demasiado largos (True = sí)
  max_length=512,             # ← longitud máxima de entrada en tokens
)

🎮 Pruébalo: simula distintas tareas de pipeline()

Elige una tarea, escribe un texto y mira cómo respondería el pipeline correspondiente:

7. Lo que aprendiste

En la próxima lección vemos en detalle cómo funcionan los tokenizers modernos reales — los que usan GPT y LLaMA — y qué es la attention mask que siempre aparece en los outputs.