Una probabilidad de 0,7 necesita comprobarse en grupos de predicciones, no en un único acierto
La calibración compara probabilidades anunciadas y frecuencias observadas. Un ejemplo ficticio ayuda a distinguir esa comprobación de contar etiquetas correctas.
Un clasificador puede producir una etiqueta y también una probabilidad. Comprobar que acertó una vez no demuestra que esa probabilidad esté bien calibrada. La documentación de scikit-learn explica la calibración comparando grupos de predicciones con la frecuencia real de la clase positiva dentro de esos grupos.
Construyamos diez predicciones ficticias, todas con probabilidad 0,7, de las que cuatro terminan siendo positivas. La probabilidad media anunciada es 0,7 y la proporción observada es 4/10, es decir, 0,4. En ese grupo la separación es de 0,3, o 30 puntos porcentuales. No hemos ejecutado un modelo: los números sirven para mostrar las dos cantidades que se comparan.
El resultado individual no resuelve esta cuestión. Una predicción de 0,7 admite que el suceso no ocurra; observar un caso negativo no contradice por sí solo una probabilidad bien calibrada. A la inversa, un caso positivo tampoco valida el 0,7. Diez observaciones constituyen un ejemplo pequeño, no evidencia suficiente para afirmar que un sistema real tendrá siempre ese desajuste.
Las curvas de calibración agrupan las predicciones y comparan la probabilidad media de cada intervalo con su fracción de positivos. Para revisar un informe proponemos conservar junto a cada grupo su número de observaciones, el periodo evaluado y cómo se obtuvieron las etiquetas. Así se evita leer una curva sin saber cuánta evidencia sostiene cada punto. Esta comprobación de probabilidades es distinta de la precisión o el recall calculados después de decidir qué etiquetas se marcan como positivas.