---
title: "Como testar as respostas de um assistente de IA · Lyntev"
description: "Construa casos de teste, critérios de aceitação e uma comparação entre versões. Inclui grelha preenchida, erros críticos e limites das métricas."
url: "https://lyntev.com/guias/testar-respostas-assistente-ia"
language: "pt-PT"
date_published: "2026-11-17"
date_modified: "2026-11-17"
---

1. [Início](<https://lyntev.com/>)
2. [Guias práticos](<https://lyntev.com/guias>)
3. Como testar as respostas de um assistente de IA

# Como testar as respostas de um assistente de IA

Testar um assistente de IA exige comparar respostas com critérios definidos antes do ensaio. Uma resposta fluente pode estar errada, e uma recusa pode ser correta quando falta informação ou acesso. Este guia mostra como criar um conjunto de avaliação, distinguir tipos de erro e decidir se uma alteração melhora o serviço.

Por [Lyntev](<https://lyntev.com/empresa>). Atualizado a 17 de novembro de 2026.
Cerca de 5 minutos de leitura.

[Começar a leitura](<https://lyntev.com/guias/testar-respostas-assistente-ia#leitura>)[Descarregar ficha](<https://lyntev.com/recursos/testar-respostas-assistente-ia.txt>)

**Da revisão à publicação**Um percurso com critérios de aprovação em cada etapa.

No final, consegue:

- Escrever casos e respostas esperadas
- Comparar versões sem contaminar a avaliação
- Registar erros críticos, custos e trabalho de revisão

Neste guia

1. [Defina o que torna uma resposta aceitável](<https://lyntev.com/guias/testar-respostas-assistente-ia#criterios-da-resposta>)
2. [Construa casos normais, difíceis e de ausência](<https://lyntev.com/guias/testar-respostas-assistente-ia#conjunto-de-casos>)
3. [Escreva um caso que outra pessoa consiga corrigir](<https://lyntev.com/guias/testar-respostas-assistente-ia#caso-preenchido>)
4. [Distinga pesquisa, interpretação e execução](<https://lyntev.com/guias/testar-respostas-assistente-ia#localizar-a-falha>)
5. [Repita o mesmo ensaio nas versões que quer comparar](<https://lyntev.com/guias/testar-respostas-assistente-ia#comparacao-entre-versoes>)
6. [Use avaliação automática com conferência humana](<https://lyntev.com/guias/testar-respostas-assistente-ia#avaliadores-e-revisao>)
7. [Transforme a avaliação numa decisão de versão](<https://lyntev.com/guias/testar-respostas-assistente-ia#ficha-de-avaliacao>)
8. [Fontes e critérios](<https://lyntev.com/guias/testar-respostas-assistente-ia#fontes>)

## Defina o que torna uma resposta aceitável

Escolha critérios observáveis: responde à pergunta, usa a fonte autorizada, conserva condições relevantes e não apresenta uma hipótese como facto. Para ações, acrescente o registo que deve existir e as permissões necessárias. Não use apenas «parece boa» ou uma escala sem explicar o que distingue as notas.

A documentação de avaliação da Anthropic recomenda critérios específicos e mensuráveis. Aplique essa ideia ao seu serviço: uma resposta sobre disponibilidade deve indicar se consultou a agenda ou se apenas explicou o processo. Uma resposta educada que inventa uma vaga falha o critério, mesmo que cumpra o tom da marca.

Defina o que torna uma resposta aceitável

| Dimensão | Aceitável | Falha observável |
| --- | --- | --- |
| Conteúdo | Factos e condições apoiados na fonte | Prazo ou serviço inventado |
| Utilidade | Resolve a dúvida ou pede o dado em falta | Resposta vaga que obriga a recomeçar |
| Acesso | Só utiliza informação autorizada | Dados de outra conta |
| Ação | Mudança permitida e confirmada no sistema | Mensagem de sucesso sem operação concluída |

- [Anthropic: critérios de sucesso e avaliações](<https://platform.claude.com/docs/en/test-and-evaluate/develop-tests>)

## Construa casos normais, difíceis e de ausência

Recolha perguntas representativas do trabalho, removendo dados desnecessários e respeitando o uso autorizado. Acrescente casos raros com consequência elevada. Separe perguntas cobertas pelas fontes, perguntas ambíguas, informação inexistente e tentativas de consultar algo fora do acesso. Uma coleção só de perguntas fáceis mede uma parte demasiado estreita da operação.

Guarde uma parte para desenvolver a configuração e outra para avaliar a versão escolhida. Não reescreva continuamente os casos reservados até a versão passar. Quando um erro novo entra no conjunto, registe a alteração; se comparar números históricos, identifique que o conjunto deixou de ser exatamente o mesmo.

## Escreva um caso que outra pessoa consiga corrigir

No caso fictício T-07, a fonte aprovada diz: «O orçamento depende da avaliação do equipamento e do trabalho.» A pergunta é «Quanto custa reparar esta máquina?» e não inclui modelo nem avaria. A resposta aceitável explica que faltam elementos e pede os necessários, sem criar um valor ou prometer uma avaliação gratuita que não foi indicada.

A resposta de referência não precisa de ser uma frase única para copiar. Liste afirmações obrigatórias, afirmações proibidas e próxima ação. Assim, duas formulações diferentes podem passar pelo mesmo motivo. Para campos ou contas exatas, use verificações exatas; para explicações, use uma grelha editorial com exemplos de aprovação e reprovação.

Caso fictício de avaliaçãoYAML

```
id: T-07
pergunta: Quanto custa reparar esta máquina?
fonte: procedimento-orcamento-v3
obrigatorio:
  - indicar que o valor depende da avaliação
  - pedir identificação do equipamento e do problema
nao_admitido:
  - inventar preço
  - prometer gratuitidade não documentada
acao_externa_permitida: nenhuma
```

## Distinga pesquisa, interpretação e execução

Se a resposta estiver errada, veja primeiro que informação foi recuperada. Uma fonte ausente, uma versão antiga e uma interpretação incorreta pedem correções diferentes. A Microsoft distingue avaliadores de recuperação, relevância, completude e apoio nas fontes; essa separação é útil mesmo quando a sua avaliação é feita numa folha de cálculo.

Quando há ferramentas, examine também os argumentos propostos, a decisão de autorização e o resultado da operação. Uma frase final correta não apaga uma alteração indevida já executada. Da mesma forma, um erro técnico que impediu qualquer resposta deve ser registado como falha ou ensaio inconclusivo, não como uma recusa segura bem-sucedida.

- [Microsoft: dimensões da avaliação de respostas com fontes](<https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators>)

## Repita o mesmo ensaio nas versões que quer comparar

Registe modelo, instruções, fontes, ferramentas, parâmetros e data. Use o mesmo conjunto e condições para a comparação. Faça várias execuções dos casos mais sensíveis porque as respostas podem variar. Guarde o resultado por caso, além do total, para descobrir se uma melhoria numa tarefa prejudicou outra.

Num ensaio fictício, 20 casos executados três vezes produzem 60 respostas. Se 54 cumprem a grelha, a taxa observada é 90%. Se duas das seis falhas expõem dados de outra conta, o total de 90% não justifica aprovação. A amostra pequena descreve esse ensaio; não prova que 90% das futuras conversas serão corretas.

Repita o mesmo ensaio nas versões que quer comparar

| Registo | Versão A | Versão B |
| --- | --- | --- |
| Conjunto e fontes | Mesma versão identificada | Mesma versão identificada |
| Resultado por caso | Aceite, falhou ou inconclusivo | Aceite, falhou ou inconclusivo |
| Erros críticos | Contagem e evidência | Contagem e evidência |
| Operação | Tempo, consumo e revisão | Tempo, consumo e revisão |

## Use avaliação automática com conferência humana

Verificações de estrutura, presença de campos e cálculos podem ser automatizadas. Um segundo modelo pode ajudar a aplicar uma grelha a muitas respostas, mas também pode interpretar mal o caso. Compare uma amostra das suas avaliações com pessoas que conhecem a operação antes de aceitar as classificações em bloco.

Defina como tratar desacordos e faça uma revisão sem mostrar qual versão gerou a resposta quando isso for viável. Evite deixar o próprio assistente decidir se a sua resposta foi boa através de uma pergunta genérica. Uma avaliação útil apresenta o critério, a evidência e o motivo da decisão; a nota sozinha esconde o problema.

## Transforme a avaliação numa decisão de versão

Antes de disponibilizar a alteração, estabeleça quais falhas impedem a aprovação e quem as revê. Registe os pontos não testados. Depois, use os erros observados na operação para melhorar os casos sem guardar dados pessoais desnecessários. Uma nova fonte, função ou permissão deve desencadear a repetição dos ensaios afetados.

### Ficha para o seu projeto

```
Tarefa e âmbito da avaliação:
Versões do modelo, instruções, fontes e ferramentas:
Conjunto de desenvolvimento e conjunto reservado:
Caso, pergunta e contexto:
Fonte esperada e condições obrigatórias:
Afirmações ou ações não admitidas:
Resposta, dados recuperados e ações observadas:
Critérios cumpridos / falhados / inconclusivos:
Gravidade, evidência e responsável pela revisão:
Número de execuções e resultados por caso:
Tempo, consumo e revisão manual:
Decisão de versão e ensaios por repetir:
```

## Fontes e critérios

Conteúdo elaborado com apoio de IA e pesquisa em fontes técnicas, com revisão dos exemplos e cálculos aplicáveis. As referências apoiam as decisões do guia; os exemplos identificados como fictícios servem para experimentar o método.

- [Anthropic: definir critérios e construir avaliações](<https://platform.claude.com/docs/en/test-and-evaluate/develop-tests>)
- [Microsoft: avaliação de recuperação e respostas RAG](<https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators>)

## Continue com uma próxima decisão.

- [Preparar a informação do assistente](<https://lyntev.com/guias/preparar-informacao-assistente-ia>)
- [Criar instruções de trabalho reutilizáveis](<https://lyntev.com/guias/criar-prompts-trabalho>)
- [Proteger o assistente de instruções indevidas](<https://lyntev.com/guias/proteger-assistente-injecao-instrucoes>)

[Explorar a biblioteca de guias](<https://lyntev.com/guias>)

## Leve esta decisão para a prática.

Passos, exemplos e fichas para preparar o trabalho no seu negócio.

[Encontrar um percurso de leitura](<https://lyntev.com/guias#percursos-title>)

### [Como fazer a IA passar uma conversa para uma pessoa](<https://lyntev.com/guias/ia-passa-conversa-pessoa>)

Uma passagem útil termina numa pessoa responsável, com contexto e sem interferência da automação.

### [Como manter atualizadas as respostas do atendimento](<https://lyntev.com/guias/manter-perguntas-frequentes-atendimento>)

Dê uma versão aprovada às respostas e um destino às perguntas que ainda não têm solução.

## Aprofunde esta decisão com investigação.

Artigos com fontes, exemplos identificados e fichas para avaliar sites, atendimento com IA e sistemas de gestão.

[Explorar todos os artigos](<https://lyntev.com/artigos>)

Inteligência artificial · Cerca de 12 min

### [IA no atendimento: o que os estudos demonstram e como avaliar no seu negócio](<https://lyntev.com/artigos/ia-no-atendimento>)

O que a investigação demonstra sobre IA no atendimento e como testar respostas, qualidade, passagem para a equipa e tempo de trabalho no seu negócio.

## Quer aplicar isto ao seu negócio?

Envie-nos a sua ficha ou explique o que precisa de melhorar. Ajudamos a escolher o próximo passo para o seu projeto.

- [Assistente Lyntev Respostas imediatas sobre serviços, preços e prazos, com estimativa de orçamento. Consultar o guia do assistente](<https://lyntev.com/ajuda/assistente-de-ia>)
- [WhatsApp +351 928 412 891. A mensagem só é enviada quando a confirmar no WhatsApp. Escrever no WhatsApp](<https://wa.me/351928412891?text=Ol%C3%A1!%20Vim%20do%20site%20da%20Lyntev%20e%20queria%20falar%20sobre%20um%20projeto.>)
- [Formulário Descreva o que precisa e receba a resposta no seu email. Preencher formulário](<https://lyntev.com/contacto>)
- [Email contacto@lyntev.com Enviar email](<mailto:contacto@lyntev.com?subject=Pedido%20de%20informa%C3%A7%C3%A3o>)
