Haz Backtest Antes de Operar en Real
Por qué hacer backtest
El ejercicio se gana su lugar por tres razones, ninguna de las cuales es demostrar que un método gana dinero.
Tener claro qué intentas aprender mantiene honesta la prueba, porque la mayoría de las formas en que un backtest sale mal vienen de pedirle un veredicto que no puede dar.
Comprobar la viabilidad de las reglas
Lo primero que revela una prueba es si tus reglas están completas. Aplicarlas vela por vela a un tramo de gráfico expone rápidamente los momentos donde la página no dice qué hacer, y esos huecos son el verdadero resultado. Un conjunto de reglas que no puede aplicarse sin juicio en vivo no está terminado, y no hay forma más barata de descubrirlo.
Ganar confianza
Ver tu setup aparecer una y otra vez a lo largo de un período te da una idea realista de con qué frecuencia se dispara, cómo luce una secuencia perdedora normal y cuánto esperarás entre oportunidades. Esa familiaridad ayuda cuando la misma secuencia ocurre en vivo, porque llega como algo reconocido y no como evidencia de que el método se rompió.
Hay un beneficio más que solo aparece después. Una prueba crea un registro escrito de lo que produjeron tus reglas a lo largo de un tramo definido, lo que te da algo contra qué comparar tus resultados en vivo. Sin eso, un mes decepcionante en vivo no tiene nada contra qué medirse y tiende a interpretarse como un fracaso. Con eso, al menos puedes preguntarte si la secuencia en vivo se parece a las que contenía la prueba, que es una pregunta mucho más respondible.
Quitar la adivinanza
Un conjunto de reglas probado reemplaza la pregunta "¿esto funciona?" por la pregunta más limitada de "¿esto se disparó y qué pasó?". La segunda es respondible. La primera no, y los traders que insisten en ella terminan ajustando reglas hasta que la respuesta parece un sí, que es el fallo descrito más adelante en esta página.
- Primero la integridad. Los huecos en las reglas son el hallazgo principal.
- Después la frecuencia. Con qué frecuencia se dispara moldea todo lo demás.
- Un veredicto no está disponible. Ninguna prueba produce uno con honestidad.
Haz backtest para encontrar huecos en tus reglas y aprender con qué frecuencia se disparan, no para obtener un veredicto.
Probar con honestidad
La deshonestidad en el backtest es estructural y no deliberada: sabes qué pasó después, y ese conocimiento se filtra a menos que el proceso lo impida.
Tres prácticas eliminan la mayor parte de esa filtración, y ninguna requiere software.
Muestra adecuada
Suficientes ocurrencias como para que una racha en cualquier dirección no explique el resultado. Cuántas sean depende de con qué frecuencia se disparan tus reglas; un setup que aparece dos veces por semana necesita un período largo para producir un conteo utilizable. Si reunir la muestra toma meses, eso es información sobre el conjunto de reglas y no un problema que resolver acortando la prueba.
Datos fuera de muestra
Desarrolla las reglas en un período, congélalas y aplícalas sin cambios a un período que no miraste mientras las desarrollabas. Este es el paso que separa un descubrimiento de una descripción, y es el paso que casi siempre se omite porque el resultado suele ser decepcionante. Un conjunto de reglas que rinde en el período de desarrollo y no en el que no se tocó ha sido moldeado para encajar con la historia.
Supuestos realistas
- Avanza vela por vela, de izquierda a derecha. Cubre el gráfico a la derecha de tu posición actual.
- Registra los casos ambiguos como tomados. En tiempo real los habrías tomado.
- Cuenta los setups que te habrías perdido. Dormido, en el trabajo, lejos de la pantalla.
- Aplica la aritmética del payout. Un conteo de aciertos no significa nada sin ella.
- Registra cada ocurrencia, no solo las interesantes.
El segundo punto es el que más rendimiento aparente cuesta, y es el que más vale la pena conservar. Las pruebas históricas resuelven por defecto cada caso límite a favor del método, porque el resultado es visible. Decidir de antemano que la ambigüedad cuenta como una operación elimina ese sesgo y suele eliminar con él buena parte del resultado favorecedor.
Vela por vela con el futuro cubierto, la ambigüedad contada como tomada, y una corrida congelada en datos que no desarrollaste.
Evitar el sobreajuste
El sobreajuste es lo que pasa cuando un conjunto de reglas se mejora contra la historia hasta que describe esa historia y no algo duradero.
Rara vez se siente como hacer trampa. Se siente como refinamiento, y cada ajuste individual tiene una justificación plausible en el momento.
Demasiadas reglas
Cada condición añadida reduce la frecuencia con que se alinea el conjunto completo, lo que reduce tu muestra y aumenta la probabilidad de que lo que queda sea una descripción de un tramo particular. Un conjunto de reglas que crece tras cada prueba decepcionante se está ajustando, y el crecimiento es el síntoma y no la solución.
Resultados sobreoptimizados
Los valores de parámetros extrañamente específicos son la señal visible: un lookback de exactamente diecinueve, un umbral en una fracción precisa. Los valores obtenidos ajustando son valores elegidos porque funcionaron en la muestra, y no hay razón para que el mercado los respete después. Los números redondos y sencillos son un valor por defecto razonable y se degradan con más elegancia.
La misma comprobación aplica al período y no solo a los parámetros. Divide tu tramo de prueba en dos mitades y mira cada una por separado. Si el resultado viene casi por completo de una mitad, has encontrado un conjunto de reglas que le quedaba bien a un mercado en particular y no uno que describe un comportamiento. Eso no es necesariamente fatal, y sí te dice qué condiciones vigilar antes de confiar en él en vivo.
Sistemas frágiles
Una comprobación de robustez útil no cuesta nada: mueve levemente cada parámetro y vuelve a correr la prueba. Si un cambio pequeño colapsa el resultado, el conjunto de reglas estaba equilibrado sobre un arreglo particular de la historia y no describía un comportamiento real. Un conjunto de reglas que vale la pena conservar produce resultados en general similares a lo largo de una banda de valores cercanos.
| Señal | Qué suele significar |
|---|---|
| Condiciones añadidas tras cada prueba mala | Ajuste a la muestra |
| Valores de parámetros precisos e inusuales | Ajustados y no razonados |
| El resultado colapsa con un cambio pequeño de parámetro | Frágil; no describe un comportamiento real |
| Las reglas no pueden justificarse sin los resultados | Memorización, no método |
Mueve cada parámetro y vuelve a correr la prueba. Un resultado que colapsa fue ajustado a la historia y no encontrado en ella.
Conocer los límites
Una prueba describe lo que ya ocurrió bajo condiciones que pueden ya no aplicar, y ningún rigor cambia eso.
Los límites siguientes no son defectos de tu método. Son propiedades de probar cualquier cosa contra el pasado.
El pasado no es el futuro
La forma más clara de retener esto: tu resultado te dice que las reglas coincidieron con un tramo de historia. Si el comportamiento detrás de esa coincidencia persiste es una pregunta aparte, no respondible de antemano, y por eso existen los calendarios de revisión y las condiciones de parada. Nada en una buena prueba elimina la necesidad de ninguno de los dos.
Cambios de régimen
Los mercados cambian entre condiciones de tendencia y de rango, la participación cambia, y los regímenes de volatilidad van y vienen. Un conjunto de reglas probado a lo largo de un período que solo contiene una condición ha sido probado contra una condición, sin importar cuán largo haya sido ese período. Probar a lo largo de un tramo que visiblemente contiene más de una vale el esfuerzo extra y suele cambiar bastante el panorama.
La calidad de los datos también merece una mención breve. Los gráficos de distintas fuentes no siempre coinciden exactamente, sobre todo en horizontes cortos, y los instrumentos cuyo precio se cotiza en vez de negociarse en un intercambio cargan con una incógnita adicional porque no se publica ninguna metodología para ellos. Nada de esto vuelve inútil el probar; significa que un resultado que depende de niveles precisos o formas exactas de vela descansa sobre algo menos sólido de lo que parece.
Brechas de ejecución en real
La brecha entre la prueba y lo real viene de cosas que una prueba no puede contener: el momento de duda, el setup que te perdiste porque estabas en otro sitio, la operación que tomaste que no era del todo el setup. Todo esto es de comportamiento, nada de ello aparece en una corrida histórica, y juntas suelen explicar más de la diferencia que cualquier cambio de mercado. Por eso el forward-test en la cuenta demo importa al menos tanto como la corrida histórica: puedes pon a prueba en tiempo real las reglas congeladas con fondos virtuales y descubrir cómo se comportan las mismas reglas cuando eres tú quien las aplica.
Una prueba dice que las reglas coincidieron con algo de historia. El forward-test dice si tú puedes aplicarlas.
Claves del backtest
El ejercicio vale el tiempo cuando se le hace la pregunta correcta y engaña cuando se le hace la incorrecta.
Prueba antes de arriesgar dinero
Correr tus reglas sobre datos pasados, con honestidad, antes de que haya dinero de por medio, te dirá si las reglas están completas, con qué frecuencia se disparan y cómo luce un tramo perdedor normal. Las tres cosas valen la pena saberse de antemano, y las tres son más baratas de aprender en un gráfico que en un saldo.
Sé honesto
La honestidad es procedimental y no moral: cubre el gráfico, cuenta la ambigüedad como tomada, congela las reglas antes de correr el período no tocado y registra cada ocurrencia. Cada una elimina una forma específica en que el resultado te favorece, y cada una cuesta rendimiento aparente, que es exactamente por qué funcionan.
- Reglas congeladas en datos no tocados. La única parte de la prueba que aporta información.
- Parámetros redondos, pocas condiciones. El ajuste es visible en la precisión.
- Comprobación de robustez. Mueve y vuelve a correr antes de confiar en nada.
- Forward-test después. La pregunta de comportamiento necesita una respuesta hacia adelante.
Ninguna prueba garantiza ganancias
Aquí no aparecen cifras, porque esta redacción no ha hecho backtest de nada y no tiene cuenta. Lo que se puede decir estructuralmente es que un resultado histórico es una afirmación sobre el pasado y una promesa sobre el futuro solo por suposición, y esa suposición es exactamente para lo que existen los calendarios de revisión y las condiciones de parada. Trata una prueba como un dato de entrada más, haz forward-test de lo que sobreviva, y deja que tu propio registro en vivo sea lo que decida.
Una prueba acota el campo. Tu registro en vivo decide, y nada más puede hacerlo con honestidad.
Lo que preguntan los lectores sobre esta configuración
¿Cómo hago backtest sin una herramienta especial?
Abre un gráfico, desplázate hasta un punto de inicio, cubre todo lo que esté a la derecha de ese punto, y avanza una vela a la vez aplicando tus reglas escritas. Registra cada ocurrencia, incluidas las ambiguas. Es lento y es honesto, y esa lentitud es lo que te impide usar sin querer información que el mercado aún no había producido.
¿Qué es la prueba fuera de muestra?
Desarrollas las reglas en un período, luego las congelas y las aplicas sin cambios a un período distinto que nunca examinaste mientras las desarrollabas. Importa porque cualquier conjunto de reglas puede mejorarse indefinidamente contra la historia con la que se moldeó, así que el período no tocado es la única parte del ejercicio que aporta información. También es el paso que más se omite, porque el resultado suele ser decepcionante.
¿Cuántos datos necesito para una prueba significativa?
Suficientes ocurrencias como para que una racha en cualquier dirección no explique el resultado, lo cual depende por completo de con qué frecuencia se disparan tus reglas. Un setup que aparece dos veces por semana necesita un período largo para producir un conteo utilizable. Si reunir la muestra toma meses, trata eso como información sobre el conjunto de reglas y no como una razón para acortar la prueba.
¿Por qué fallan en vivo las estrategias probadas en backtest?
Normalmente por razones de comportamiento y no de mercado. Una corrida histórica no contiene nada de la duda, ninguno de los setups que te perdiste por estar lejos de la pantalla, y ninguna de las operaciones que casi eran tu setup. Tampoco puede incluir un cambio de condiciones tras el período de prueba. Hacer forward-test de las reglas congeladas en una cuenta demo es lo que saca a la luz la mitad de comportamiento.