La sobreoptimización aparece cuando el diseño se adapta demasiado a las particularidades del histórico utilizado. StrategyQuant advierte de este riesgo y propone comprobar el comportamiento sobre datos no empleados para construir la estrategia y ante variaciones de sus condiciones. Documentación de robustez.
El problema no se limita a mover parámetros. También importa cuántas variantes has probado, cómo has elegido los periodos y si has cambiado los filtros después de conocer los resultados. Si vuelves repetidamente al mismo tramo para elegir ganadores, ese tramo está influyendo en tu selección.
Ejercicio propuesto: conserva un registro con cada cambio, su motivo y la información disponible cuando lo decidiste. Marca las decisiones tomadas antes de conocer el resultado y las que surgieron después. Esto no elimina el riesgo, pero hace más transparente el experimento.
Desconfía de un resultado que solo funciona en una configuración muy concreta sin una explicación defendible. Una prueba favorable aumenta la información disponible; no certifica que el sistema vaya a sobrevivir a cualquier mercado.
Pregunta frecuente: ¿existe una prueba que descarte todo sobreajuste? No hay una garantía universal. Las pruebas responden a preguntas concretas y comparten las limitaciones de los datos y supuestos.
Continúa con la guía de Monte Carlo y Walk Forward para distinguir qué comprueba cada prueba.
Detectar cuándo has usado la validación para elegir
Imagina un experimento ficticio con un parámetro de 10, 20 o 30 unidades. Antes de observar el periodo reservado, eliges 20 usando únicamente los datos de construcción. Al evaluar después descubres que 30 habría producido un resultado mejor. Si sustituyes 20 por 30 por ese motivo, has usado la validación para seleccionar.
No basta con renombrar ese tramo como «fuera de muestra». Su función depende de las decisiones que has tomado con él. Registra la fecha de cada consulta y el motivo de cada cambio. Una tabla mínima contiene variante, datos disponibles, decisión previa, resultado observado y decisión posterior.
Compara también valores próximos al elegido, sin convertir la comparación en otra búsqueda ilimitada. Un pico aislado merece investigación; una zona estable tampoco demuestra rentabilidad futura. La conclusión del ejercicio debe explicar qué evidencia sigue siendo independiente y qué evidencia ya ha influido en el diseño.
Comprobación: si borrases el periodo final del informe, ¿tomarías la misma decisión? Si no, ese periodo está participando en la selección.