Equidad Revisitada: Por Qué el “Puntuación de Amenaza Equitativa” No Es Equitativa

Resumen En la predicción de eventos binarios, las medidas de verificación que son “equitativas” fueron definidas por Gandin y Murphy para satisfacer dos requisitos: 1) otorgan a todos los sistemas de predicción aleatoria, incluidos aquellos que siempre emiten la misma predicción, la misma puntuación esperada (típicamente cero), y 2) son expresables como la suma ponderada lineal de los elementos de la tabla de contingencia, donde los pesos son independientes de las entradas en la tabla, aparte de la tasa base. Los autores demuestran que la “puntuación de amenaza equitativa” (ETS), así como numerosas otras, no satisface ninguno de estos requisitos y solo satisface el primer requisito en el límite de un tamaño de muestra infinito. Tales medidas se denominan “equitativas asintóticamente”. En el caso de ETS, la puntuación esperada de un sistema de predicción aleatoria es siempre positiva y solo cae por debajo de 0.01 cuando el número de muestras es mayor a alrededor de 30. Otras dos medidas asintóticamente equitativas son la puntuación de habilidad del cociente de probabilidades y la puntuación de dependencia extrema simétrica, que son más fuertemente inequitativas que ETS, particularmente para eventos raros; por ejemplo, cuando la tasa base es 2% y el tamaño de muestra es 1000, los sistemas de predicción aleatoria pero no sesgados obtienen una puntuación esperada de alrededor de −0.5, que se reduce en magnitud a −0.01 o menor solo para tamaños de muestra superiores a 25,000. Esto presenta un problema ya que estas medidas no lineales tienen otras propiedades deseables, en particular ser indicadores fiables de habilidad para eventos raros (siempre que el tamaño de muestra sea lo suficientemente grande). Una forma potencial de reconciliar estas propiedades con la equidad es reconocer que los dos requisitos de Gandin y Murphy son independientes, y el segundo puede ser descartado sin peligro de perder las principales ventajas de equidad que están plasmadas en el primero. Esto permite que las medidas inequitativas y asintóticamente equitativas se escalen para hacerlas equitativas, mientras se retiene su no linealidad y otras propiedades como ser indicadores fiables de habilidad para eventos raros. También abre la posibilidad de diseñar nuevas medidas de verificación equitativas.