Avaliação de Agentes

Finalidade

Mostrar como confiança, acurácia e custo interagem: o diagrama de confiabilidade, o erro esperado de calibração e o limiar de confiança que minimiza o custo.

Variáveis

• pconfiança informada pelo agente
• kexpoente de excesso de confiança: a acurácia real é p^k
• c_r / c_fcusto de uma revisão relativo ao custo de um erro
• τlimiar: aceitar quando p ≥ τ, revisar caso contrário

Premissas

• 1.000 previsões sintéticas geradas a partir da semente.
• Com k = 1 o agente é calibrado; com k > 1 tem excesso de confiança.
• Um erro custa 1 e uma revisão custa c_r/c_f; saídas corretas aceitas não custam nada.

Modelo

Dados que exigiria na prática

• Previsões reais com confiança e verdade de referência.
• Custos reais de uma revisão e de um erro.
• Amostras suficientes por faixa de confiança.

Interpretação

Com k = 1 a fórmula e o melhor limiar empírico concordam. À medida que o excesso de confiança cresce, o ECE sobe e o melhor limiar empírico passa acima da fórmula, porque as saídas aceitas erram mais do que a confiança diz.

Limitações

• O agente é simulado; sistemas reais falham de mais formas.
• O ECE depende do número de faixas.
• Supõe-se que os custos são constantes entre campos.