Por que a calibração importa
Todo limiar construído sobre uma confiança, como o deduzido na nota sobre limiares baseados em custo, supõe que a confiança significa o que diz. Quando um modelo informa 90% e acerta 70% das vezes, a regra de decisão está errada, ainda que nada no código tenha mudado.
Medindo
Agrupe as previsões em M faixas de confiança. Em cada faixa, compare a fração que estava correta (acurácia) com a confiança média informada. O erro esperado de calibração é a média das diferenças, ponderada pelo tamanho da faixa:
Um exemplo resolvido
Números ilustrativos. De n = 100 previsões, 60 caem em uma faixa com confiança média 0,55 e acurácia 0,50 (diferença 0,05), e 40 caem em uma faixa com confiança média 0,95 e acurácia 0,80 (diferença 0,15). Então ECE = 0,6 × 0,05 + 0,4 × 0,15 = 0,09.
Um desenho de monitoramento proposto
Esta seção é uma proposta, e não a descrição de um sistema em operação. Três monitores rodam após a liberação: calibração (ECE em uma janela móvel), deriva (mudança na distribuição das entradas) e feedback humano (a taxa em que revisores corrigem o sistema). Cada um tem um limiar. Cruzá-lo dispara uma revisão do modelo e do limiar de decisão, e fica registrado como evento.
Limites
- O ECE depende de como as faixas são escolhidas e exige amostras suficientes por faixa.
- A média esconde erros grandes em faixas raras.
- Um conjunto de teste separado não é produção; os monitores precisam rodar em dados vivos.
Leitura de fundamentação
Obras de outros autores sobre os métodos de base. Não são publicações da Menlo Tech.
- Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. "On Calibration of Modern Neural Networks." ICML, 2017.
Relacionados
Laboratórios
Estudos de caso