Avaliação e Confiabilidade de IA

Como saber se um sistema agêntico continua correto, e calibrado, quando os dados mudam?

Um sistema pode piorar em silêncio quando suas entradas mudam. Uma confiança de 90% que acerta só 70% das vezes torna errado todo limiar construído sobre ela.

Confiabilidade é mensurável: acurácia, erro de calibração e a taxa de casos enviados a pessoas são números que podem ser acompanhados, comparados a uma linha de base e usados para disparar revisão.

As previsões são agrupadas em M faixas de confiança B_m. O ECE é a diferença média entre acurácia e confiança média, ponderada pelo tamanho da faixa.

1. Montar um conjunto de teste parecido com a produção.

2. Medir acurácia, calibração e taxa de revisão por tarefa.

3. Comparar com uma linha de base antes de liberar uma mudança.

4. Monitorar calibração, deriva dos dados e feedback humano após a liberação.

1. Conjunto de teste

2. Execução do sistema

3. Métricas

4. Comparação com a linha de base

5. Decisão de liberar

6. Monitores

Nenhum experimento publicado. O laboratório de Avaliação de Agentes simula um agente com excesso de confiança ajustável e mostra o diagrama de confiabilidade, o ECE e o limiar de custo mínimo.

Avaliação de Agentes

Nenhum resultado original de pesquisa é afirmado. Esta área é apresentada como perspectiva técnica, com uma demonstração computável sobre dados sintéticos.

• O ECE depende de como as faixas são escolhidas.
• Um conjunto de teste não é a produção.
• Métricas não detectam uma falha que ninguém antecipou.

Leitura de fundamentação de outros autores. Não são publicações da Menlo Tech, e nenhum artigo da Menlo Tech é citado porque nenhum foi publicado.

• Guo, C., Pleiss, G., Sun, Y. & Weinberger, K. "On Calibration of Modern Neural Networks." ICML, 2017.