Escolhendo um limiar de confiança a partir do custo de errar

A decisão

Um sistema de extração lê um campo e informa uma confiança p: a probabilidade de o valor estar correto. Para cada campo há duas opções. Aceitar automaticamente ou enviar para revisão de uma pessoa.

Dois custos

Revisar um campo custa c_r, o tempo de uma pessoa. Aceitar um campo errado custa c_f, o retrabalho ou a etapa seguinte que falha. Aceitar um campo correto não custa nada. Os custos esperados das duas opções são:

A regra

Aceitar quando aceitar sai mais barato, em esperança, do que revisar:

Reorganizando, obtém-se um limiar para a confiança:

Se uma revisão custa um décimo de um erro (c_r/c_f = 0,1), o limiar é 0,90. Se um erro custa apenas o dobro de uma revisão, o limiar cai para 0,50. Essas razões são ilustrativas; as reais precisam ser medidas.

O que a dedução pressupõe

A regra só vale se p estiver calibrado: entre os campos informados com 90%, cerca de 90% precisam estar corretos. Um modelo com excesso de confiança faz o limiar aceitar demais, e a taxa de erro real entre os aceitos fica acima da que a regra promete.

Limites

• Os custos variam por campo, e campos críticos podem exigir revisão obrigatória, qualquer que seja a confiança.
• A dedução trata os campos como independentes.
• Ela não diz nada sobre erros em que o modelo está confiantemente errado de forma sistemática.

Leitura de fundamentação

Obras de outros autores sobre os métodos de base. Não são publicações da Menlo Tech.

• Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. "On Calibration of Modern Neural Networks." ICML, 2017.
• Berger, J. Statistical Decision Theory and Bayesian Analysis, 2nd ed. Springer, 1985.

Relacionados

Inteligência de Decisão · Avaliação e Confiabilidade de IA