Iteraciones

Iteraciones: cómo mejora un modelo

Un modelo no se construye de una vez.

Se construye paso a paso, comparando versiones.

Resultados de iteraciones

Modelo	Error validación	Error externo	Posición
Media simple	9.986	9.409	1449
Media por grupos	9.978	9.407	1411
Gradiente potenciado	5.996	4.595	1109
+ variable hora	5.553	4.352	1068
+ variable distancia	5.268	4.103	1006

¿Qué está pasando aquí?

Al inicio:

• casi no hay mejora
  
• cambiar el modelo no ayuda mucho

Pero luego…

La mejora grande aparece cuando:

• se usa un modelo más flexible
  
• se agregan variables relevantes

Idea clave

No todo cambio mejora el modelo igual.

Algunos cambios son marginales.
Otros cambian completamente el resultado.

Golpe de realidad

Agregar una buena variable puede ser más importante
que cambiar de algoritmo.

Ingeniería de variables vs ajuste de parámetros

Comparación

Tipo de problema	Variables	Ajuste de parámetros
Aprendizaje automático	Alto	Medio
Aprendizaje profundo	Bajo	Alto

Interpretación

En modelos clásicos:

• el modelo no “inventa” buenas variables
  
• tú debes construirlas

En cambio…

En aprendizaje profundo:

• el modelo aprende representaciones
  
• pero depende mucho de cómo se configure

⚠ Advertencia

No tomes esto como regla absoluta.

Siempre hay excepciones.

Pero como guía práctica, funciona muy bien.

¿Qué está minimizando el modelo?

La idea central es reducir el error:

\[ \sum_{i=1}^{N}(y_i - \hat{y}_i)^2 \]

¿Qué significa esto?

• compara predicción vs valor real
  
• penaliza más los errores grandes

Problema

Si solo minimizas esto…

puedes sobreajustar.

Solución: regularización

\[ \sum_{i=1}^{N}(y_i - \hat{y}_i)^2 + \alpha \sum_{j=1}^{K} w_j^2 \]

Interpretación

Ahora el modelo:

• quiere ajustar bien
  
• pero también mantener coeficientes pequeños

Rol de α (alfa)

• pequeño → casi no penaliza
  
• grande → modelo más restringido

Idea profunda

Modelar bien no es solo ajustar datos.

Es equilibrar ajuste y estabilidad.

Cómo ajustar parámetros

Búsqueda en cuadrícula

Probar combinaciones fijas:

• ordenado

• pero costoso

Búsqueda aleatoria

Elegir combinaciones al azar:

• cubre mejor el espacio

• muchas veces funciona mejor

Optimización bayesiana

Aprende de intentos anteriores:

• más inteligente
  
• más eficiente

Realidad (importante)

No siempre necesitas lo más complejo.

Muchas veces:

• búsqueda aleatoria funciona muy bien
  
• sin complicarte la vida

Ejemplo práctico

alpha_grid = [0.01, 0.1, 1, 10]

from sklearn.linear_model import Ridge

results = {}

for candidate_alpha in alpha_grid:
    
    ridge_regression = Ridge(alpha=candidate_alpha)
    
    # aquí entrenas el modelo
    # y calculas el error de validación
    
    results[candidate_alpha] = validation_score

¿Qué estás haciendo aquí?

• pruebas distintos valores de α
  
• comparas su desempeño
  
• eliges el mejor

Conclusión final

Un buen modelo no aparece.

Se construye iterando:

• probar
  
• medir
  
• ajustar
  
• repetir