Golden Sky
Data & Machine Learning
Data & Machine Learning
Más allá de la correlación.
La información mutua mide cuánta información comparte una variable con otra: cuánto se reduce la incertidumbre sobre un resultado al conocer una señal. A diferencia de la correlación, captura dependencias no lineales — y en este sistema es una de las guardas contra las reglas que "brillan" sin una relación real detrás.
¿Saber X reduce la incertidumbre sobre Y?
Si conocer la señal X no dice nada sobre el resultado Y, la MI es 0. Cuanto más informa X sobre Y, mayor la MI.
La correlación mide solo relaciones lineales ("a más X, más Y" en línea recta). La MI detecta cualquier dependencia estadística, incluidas las no lineales — frecuentes en mercados.
Rankear variables por cuánta información tienen sobre el target permite quedarse con las más informativas y descartar las que aportan ruido.
Tres formas de la misma medida
Para dos variables discretas X e Y (en nuestro caso, ambas binarias):
Las tres dicen lo mismo desde ángulos distintos: cuánto se aleja la realidad (distribución conjunta) de un mundo donde X e Y fueran independientes. Propiedades: I(X;Y) ≥ 0, y = 0 si y solo si X e Y son independientes.
MI entre una regla y su objetivo
En el pipeline, X es "¿la regla está activa?" (binaria) e Y es el target "¿el trade tocó TP antes que SL?" (binario). Es una tabla 2×2.
Usamos el estimador discreto porque regla y target ya son sí/no — no hay que discretizar nada ni estimar densidades continuas. La MI entra como filtro anti-espurio complementario al lift: una regla con lift alto pero MI cercana a cero es sospechosa — "acierta más" sin una dependencia estadística real detrás.
El piso anti-sesgo del estimador
Hay un problema sutil: incluso con X e Y independientes, el estimador de MU sobre una muestra finita devuelve un valor pequeño pero positivo. Compararlo contra 0 dejaría pasar ruido.
0.7213 / N es el sesgo esperado del estimador plug-in bajo independencia para una tabla 2×2 (corrección de Miller-Madow; el factor sale de 1/(2·ln 2)). Es decir: es el MI "fantasma" que aparece solo por el tamaño de muestra. Exigir que la MI real lo supere descarta las reglas cuya ventaja aparente es indistinguible del ruido del propio estimador. El multiplicador ×10 y el piso 1e−4 son un margen empírico; una alternativa más cara es el piso por permutación (percentil 95 del MI nulo permutando el target).
La dependencia que la significancia no mide
La MI no solo filtra: también puntúa. Normalizada por la entropía del target, entra al score compuesto junto al z-score estadístico.
El z-score responde "¿la ventaja es difícil de explicar por azar?"; la MI responde "¿hay una dependencia real entre la señal y el resultado?". Son preguntas distintas, y por eso se combinan: una regla puede ser significativa por muchísimas señales con una ventaja fina, o tener una dependencia fuerte sobre pocas. El composite pondera ambas. La entropía binaria que normaliza la MI es H(p) = −p·log₂p − (1−p)·log₂(1−p), con máximo 1 en p = 0.5.
La medida natural para señales binarias
Con una regla binaria y un target binario, la pregunta correcta no es "¿se mueven juntos linealmente?" sino "¿saber que la regla está activa cambia la probabilidad del resultado?". Eso es exactamente lo que mide la información mutua. La correlación de Pearson colapsaría esa relación a un único número lineal y podría dar cero ante dependencias reales pero no rectas.
Guía técnica · Paso 6 Lift y Significancia Dónde encaja la MI en la selección: lift, p-valor binomial, FDR y el filtro anti-espurio, con las fórmulas verificadas contra el código.