Como testar as respostas de um assistente de IA
Testar um assistente de IA exige comparar respostas com critérios definidos antes do ensaio. Uma resposta fluente pode estar errada, e uma recusa pode ser correta quando falta informação ou acesso. Este guia mostra como criar um conjunto de avaliação, distinguir tipos de erro e decidir se uma alteração melhora o serviço.
No final, consegue:
- Escrever casos e respostas esperadas
- Comparar versões sem contaminar a avaliação
- Registar erros críticos, custos e trabalho de revisão
Defina o que torna uma resposta aceitável
Escolha critérios observáveis: responde à pergunta, usa a fonte autorizada, conserva condições relevantes e não apresenta uma hipótese como facto. Para ações, acrescente o registo que deve existir e as permissões necessárias. Não use apenas «parece boa» ou uma escala sem explicar o que distingue as notas.
A documentação de avaliação da Anthropic recomenda critérios específicos e mensuráveis. Aplique essa ideia ao seu serviço: uma resposta sobre disponibilidade deve indicar se consultou a agenda ou se apenas explicou o processo. Uma resposta educada que inventa uma vaga falha o critério, mesmo que cumpra o tom da marca.
| Dimensão | Aceitável | Falha observável |
|---|---|---|
| Conteúdo | Factos e condições apoiados na fonte | Prazo ou serviço inventado |
| Utilidade | Resolve a dúvida ou pede o dado em falta | Resposta vaga que obriga a recomeçar |
| Acesso | Só utiliza informação autorizada | Dados de outra conta |
| Ação | Mudança permitida e confirmada no sistema | Mensagem de sucesso sem operação concluída |
Construa casos normais, difíceis e de ausência
Recolha perguntas representativas do trabalho, removendo dados desnecessários e respeitando o uso autorizado. Acrescente casos raros com consequência elevada. Separe perguntas cobertas pelas fontes, perguntas ambíguas, informação inexistente e tentativas de consultar algo fora do acesso. Uma coleção só de perguntas fáceis mede uma parte demasiado estreita da operação.
Guarde uma parte para desenvolver a configuração e outra para avaliar a versão escolhida. Não reescreva continuamente os casos reservados até a versão passar. Quando um erro novo entra no conjunto, registe a alteração; se comparar números históricos, identifique que o conjunto deixou de ser exatamente o mesmo.
Escreva um caso que outra pessoa consiga corrigir
No caso fictício T-07, a fonte aprovada diz: «O orçamento depende da avaliação do equipamento e do trabalho.» A pergunta é «Quanto custa reparar esta máquina?» e não inclui modelo nem avaria. A resposta aceitável explica que faltam elementos e pede os necessários, sem criar um valor ou prometer uma avaliação gratuita que não foi indicada.
A resposta de referência não precisa de ser uma frase única para copiar. Liste afirmações obrigatórias, afirmações proibidas e próxima ação. Assim, duas formulações diferentes podem passar pelo mesmo motivo. Para campos ou contas exatas, use verificações exatas; para explicações, use uma grelha editorial com exemplos de aprovação e reprovação.
id: T-07
pergunta: Quanto custa reparar esta máquina?
fonte: procedimento-orcamento-v3
obrigatorio:
- indicar que o valor depende da avaliação
- pedir identificação do equipamento e do problema
nao_admitido:
- inventar preço
- prometer gratuitidade não documentada
acao_externa_permitida: nenhumaDistinga pesquisa, interpretação e execução
Se a resposta estiver errada, veja primeiro que informação foi recuperada. Uma fonte ausente, uma versão antiga e uma interpretação incorreta pedem correções diferentes. A Microsoft distingue avaliadores de recuperação, relevância, completude e apoio nas fontes; essa separação é útil mesmo quando a sua avaliação é feita numa folha de cálculo.
Quando há ferramentas, examine também os argumentos propostos, a decisão de autorização e o resultado da operação. Uma frase final correta não apaga uma alteração indevida já executada. Da mesma forma, um erro técnico que impediu qualquer resposta deve ser registado como falha ou ensaio inconclusivo, não como uma recusa segura bem-sucedida.
Repita o mesmo ensaio nas versões que quer comparar
Registe modelo, instruções, fontes, ferramentas, parâmetros e data. Use o mesmo conjunto e condições para a comparação. Faça várias execuções dos casos mais sensíveis porque as respostas podem variar. Guarde o resultado por caso, além do total, para descobrir se uma melhoria numa tarefa prejudicou outra.
Num ensaio fictício, 20 casos executados três vezes produzem 60 respostas. Se 54 cumprem a grelha, a taxa observada é 90%. Se duas das seis falhas expõem dados de outra conta, o total de 90% não justifica aprovação. A amostra pequena descreve esse ensaio; não prova que 90% das futuras conversas serão corretas.
| Registo | Versão A | Versão B |
|---|---|---|
| Conjunto e fontes | Mesma versão identificada | Mesma versão identificada |
| Resultado por caso | Aceite, falhou ou inconclusivo | Aceite, falhou ou inconclusivo |
| Erros críticos | Contagem e evidência | Contagem e evidência |
| Operação | Tempo, consumo e revisão | Tempo, consumo e revisão |
Use avaliação automática com conferência humana
Verificações de estrutura, presença de campos e cálculos podem ser automatizadas. Um segundo modelo pode ajudar a aplicar uma grelha a muitas respostas, mas também pode interpretar mal o caso. Compare uma amostra das suas avaliações com pessoas que conhecem a operação antes de aceitar as classificações em bloco.
Defina como tratar desacordos e faça uma revisão sem mostrar qual versão gerou a resposta quando isso for viável. Evite deixar o próprio assistente decidir se a sua resposta foi boa através de uma pergunta genérica. Uma avaliação útil apresenta o critério, a evidência e o motivo da decisão; a nota sozinha esconde o problema.
Transforme a avaliação numa decisão de versão
Antes de disponibilizar a alteração, estabeleça quais falhas impedem a aprovação e quem as revê. Registe os pontos não testados. Depois, use os erros observados na operação para melhorar os casos sem guardar dados pessoais desnecessários. Uma nova fonte, função ou permissão deve desencadear a repetição dos ensaios afetados.
Ficha para o seu projeto
Tarefa e âmbito da avaliação: Versões do modelo, instruções, fontes e ferramentas: Conjunto de desenvolvimento e conjunto reservado: Caso, pergunta e contexto: Fonte esperada e condições obrigatórias: Afirmações ou ações não admitidas: Resposta, dados recuperados e ações observadas: Critérios cumpridos / falhados / inconclusivos: Gravidade, evidência e responsável pela revisão: Número de execuções e resultados por caso: Tempo, consumo e revisão manual: Decisão de versão e ensaios por repetir:
Fontes e critérios
Conteúdo elaborado com apoio de IA e pesquisa em fontes técnicas, com revisão dos exemplos e cálculos aplicáveis. As referências apoiam as decisões do guia; os exemplos identificados como fictícios servem para experimentar o método.