Una búsqueda automática de nuestro laboratorio encontró un modelo con un 90 % de acierto, un factor de beneficio de 5,3 y una caída máxima del 0 %. No era una estrategia: era un error en cómo se decidía quién ganaba cuando el stop y el objetivo caían en la misma vela.
Lo que parecía
Un modelo de machine learning para el futuro del Nasdaq (NQ) en velas de 1 minuto, con objetivo y stop de 3 puntos: 806 operaciones, casi 26.000 $ de beneficio simulado, 90 % de acierto y ningún día en negativo. Demasiado bueno. Y lo era.
El error
Para entrenar y puntuar un modelo hay que decidir, en cada vela, si el precio tocó antes el objetivo o el stop. Cuando una vela toca los dos, la vela no dice cuál fue primero. El etiquetador suponía "el stop primero", que es lo prudente para una compra. Pero el modelo operaba ventas, y la forma de puntuar contaba esos empates como victorias. Cada vela ambigua era una operación ganadora regalada.
¿Cuántas había? Muchas: una vela de 1 minuto del NQ recorría de media unos 9,05 puntos, más que los 6 puntos que separaban el stop del objetivo.
La comprobación
Rehicimos las etiquetas con 34 millones de ticks: un tick tiene un solo precio, así que no hay empate que inventar. Cambió el 9,9 % de las etiquetas, todas en la misma dirección: de "la venta gana" a "la venta pierde".
Con stop y objetivo iguales, lo normal es una moneda al aire, y eso es lo que salió. El modelo nunca superaba un 68,4 % de confianza, así que los umbrales de la búsqueda eran inalcanzables. De 56 combinaciones, solo una "pasaba" ya, con 8 operaciones: ruido. Y con sus costes (0,80 puntos por operación), ese sistema necesitaba acertar el 63,3 % solo para empatar.
Y la caída del 0 %
El filtro que debía protegernos tenía tres agujeros: medía la caída con el resultado de cada día (si ningún día cerraba en rojo, la caída era cero, aunque dentro del día se perdiera mucho), no incluía el saldo inicial en el máximo, y uno de sus criterios estaba fijado a "cumple" por construcción. Ninguno daba error.
No fue la única vez
Meses después, el mismo tipo de error apareció en el examen de otra IA, esta vez con "order flow": su etiquetador miraba primero el máximo de la vela, y el 45,7 % de las etiquetas eran ambiguas. Durante meses creímos que el modelo acertaba el 72 % de las compras porque el mercado era alcista. No lo era.
Cómo no caer
- Si tu objetivo y tu stop caben dentro de una vela, resuelve el orden con ticks o asume siempre el peor caso para la operación que haces, sea compra o venta.
- Desconfía de un acierto por encima del 70 % con objetivo igual o mayor que el stop, y de cualquier caída máxima de 0 %.
- Mide la caída operación a operación, con el saldo inicial incluido.
- Cuando algo sale espectacular, busca el error antes de celebrarlo. Casi siempre está.
Resultados simulados e hipotéticos, con las limitaciones que eso implica. No es asesoramiento de inversión. Las reglas de las firmas cambian: compruébalas en su web. Este artículo no contiene enlaces de afiliado.