O checklist
# Roteiro dos 5 testes: Gemini × ChatGPT × Claude
A melhor resposta não é a mais bonita. É a que você consegue conferir no documento sem descobrir informação inventada.
Este roteiro compara cinco tarefas reais. Use os modelos disponíveis na sua conta. Ele não depende de uma versão específica nem pressupõe recursos anunciados em notícias.
## 1. Prepare o teste
[ ] Separe os materiais:
- Um processo ou conjunto de peças, movimentações e decisões para os testes 1 e 2.
- Duas versões do mesmo contrato para o teste 3.
- Uma petição da outra parte e os documentos necessários para compreendê-la para o teste 4.
- Uma atualização documentada do caso para o teste 5.
Não precisa ser o mesmo caso nos cinco testes. Precisa ser exatamente o mesmo material nas três ferramentas dentro de cada teste.
[ ] Use cópias anonimizadas sempre que possível. Preserve datas, relações entre fatos e informações necessárias à análise. Não envie dados sigilosos sem verificar as condições de uso e as configurações de privacidade da conta.
[ ] Abra os arquivos antes. Confira se estão completos e legíveis. Se algum exceder o limite de uma ferramenta, escolha um recorte menor e use esse mesmo recorte nas três.
[ ] Identifique cada arquivo com um nome estável. Exemplo de padrão: PROCESSO, CONTRATO_ANTERIOR e CONTRATO_NOVO.
[ ] Antes de consultar as IAs, registre um gabarito mínimo: os eventos relevantes, os comandos das decisões, as alterações contratuais e as informações que a mensagem ao cliente precisa conter. Confira esse gabarito nos documentos.
[ ] Abra uma conversa nova para cada teste em cada ferramenta. Não use conversas com informações anteriores do caso. Desative memória e personalização quando houver essa opção.
[ ] Registre o nome do modelo exibido, a data e os recursos usados. Rode sem pesquisa externa. Aqui, o teste é sobre o material enviado.
[ ] Compare a primeira resposta de cada ferramenta. Se quiser testar uma correção depois, use o mesmo pedido de correção nas três e registre separadamente.
## 2. Rode os cinco testes
### TESTE 1 — Cronologia do processo
Anexe: o mesmo processo ou conjunto de peças nas três ferramentas.
Pedido pronto:
Atue como assistente de análise documental de um advogado.
Contexto: preciso reconstruir a cronologia do caso usando exclusivamente estes arquivos: [NOMES DOS ARQUIVOS]. O recorte de interesse é [PERÍODO OU FASE DO PROCESSO].
Tarefa: identifique os eventos relevantes e organize-os em ordem cronológica. Diferencie a data de um fato da data de protocolo, publicação ou assinatura do documento que o relata. Não trate a alegação de uma parte como fato comprovado.
Formato da resposta:
1. Tabela com: data | tipo de data | evento | quem praticou ou alegou | fonte exata | situação da informação: documentada, alegada ou incerta.
2. Lista de lacunas, contradições e trechos ilegíveis.
Na fonte, indique arquivo e página; use também o ID, se estiver disponível. Se não houver paginação confiável, identifique a seção e transcreva um trecho curto que permita localizar a informação.
Não invente datas, nomes, valores, fatos, leis ou jurisprudência. Não complete lacunas por suposição. Use “não localizado no material” quando necessário. Não consulte fontes externas.
Confira antes de pontuar:
[ ] As datas correspondem ao evento correto, não apenas ao protocolo da peça.
[ ] Os eventos relevantes do seu gabarito apareceram.
[ ] Alegações estão identificadas como alegações.
[ ] As referências levam aos trechos indicados.
### TESTE 2 — Decisões e prazos mencionados
Anexe: as mesmas decisões, intimações e movimentações nas três ferramentas.
Pedido pronto:
Atue como assistente de leitura de decisões e intimações, sob revisão de um advogado.
Contexto: preciso identificar o que foi determinado e os prazos expressamente mencionados nestes arquivos: [NOMES DOS ARQUIVOS]. A parte que represento é [IDENTIFICAÇÃO ANONIMIZADA DA PARTE].
Tarefa: extraia os comandos dirigidos à parte que represento. Separe as obrigações de outras partes. Preserve a unidade e a redação dos prazos encontrados.
Formato da resposta:
1. Tabela com: decisão ou intimação | destinatário | providência exigida | prazo expresso no documento | informação disponível sobre o marco inicial | fonte exata.
2. Lista do que falta verificar antes de lançar qualquer vencimento na agenda.
Indique arquivo, página ou ID e um trecho curto para conferência. Se o documento não trouxer prazo expresso, escreva “prazo não expresso neste documento”.
Não calcule vencimentos. Não presuma ciência, termo inicial, feriado, suspensão ou regra de contagem. Não invente prazo, fato, número, lei ou jurisprudência. Diferencie data da decisão, disponibilização, publicação e ciência quando estiverem identificadas. Use somente os arquivos enviados.
Confira antes de pontuar:
[ ] A providência foi atribuída à parte correta.
[ ] O prazo foi transcrito sem alteração.
[ ] Datas diferentes não foram tratadas como equivalentes.
[ ] A resposta não criou um vencimento sem base.
Atenção: este teste mede extração documental. Não substitui a conferência do prazo pelo advogado no sistema oficial.
### TESTE 3 — Comparação de duas versões de contrato
Anexe: a versão anterior e a nova, claramente identificadas.
Pedido pronto:
Atue como assistente de revisão contratual.
Contexto: represento [PARTE ANONIMIZADA]. Compare [ARQUIVO DA VERSÃO ANTERIOR] com [ARQUIVO DA VERSÃO NOVA]. Quero saber o que mudou, sem reescrever o contrato.
Tarefa: identifique inclusões, exclusões e alterações. Separe mudanças de conteúdo de ajustes apenas de redação ou formatação. Confira especialmente partes, objeto, valores, vencimentos, obrigações, multas, rescisão e foro, quando esses assuntos existirem nos arquivos.
Formato da resposta:
1. Tabela com: cláusula ou localização nas duas versões | texto anterior relevante | texto novo relevante | tipo de mudança | efeito prático para a parte representada.
2. Lista das mudanças que exigem decisão do advogado antes da aprovação.
3. Trechos que não puderam ser comparados com segurança.
Preserve os números e valores dos documentos. Explique consequências como análise, não como resultado garantido. Não declare ilegalidade sem fundamento fornecido. Não invente cláusulas, fatos, números, leis ou jurisprudência. Use somente os arquivos enviados.
Confira antes de pontuar:
[ ] A ferramenta não inverteu a versão anterior e a nova.
[ ] Alterações de valores e obrigações foram identificadas.
[ ] Mudanças de numeração não foram confundidas com exclusões.
[ ] Os efeitos apontados decorrem de mudanças reais.
### TESTE 4 — Pontos fracos da petição da outra parte
Anexe: a petição e o mesmo conjunto de documentos de apoio nas três ferramentas.
Pedido pronto:
Atue como revisor crítico de uma petição, sem redigir uma peça processual.
Contexto: represento [PARTE ANONIMIZADA]. A petição da outra parte está em [ARQUIVO]. Os documentos disponíveis para confronto são [ARQUIVOS].
Tarefa: identifique inconsistências internas, afirmações sem suporte localizado e divergências entre a petição e os documentos enviados. Não procure defeitos a qualquer custo. Se um argumento estiver bem apoiado no material, registre isso.
Formato da resposta:
1. Tabela com: argumento da outra parte | trecho e localização | fragilidade identificada | documento e trecho de confronto | o que o advogado ainda precisa verificar.
2. Lista dos argumentos para os quais não foi localizada contradição documental.
3. Lista das limitações da análise.
Distinga “não encontrei prova nos arquivos enviados” de “não existe prova”. Não trate hipótese como fato nem conclua que o pedido será rejeitado. Não invente fatos, números, leis, jurisprudência ou conteúdo de documentos ausentes. Não faça pesquisa externa.
Confira antes de pontuar:
[ ] Cada crítica corresponde a um argumento que realmente existe na petição.
[ ] O documento de confronto sustenta a crítica.
[ ] Ausência de documento não virou afirmação de inexistência de prova.
[ ] A resposta reconheceu limites e argumentos apoiados no material.
### TESTE 5 — Mensagem de atualização ao cliente
Anexe: a atualização ou decisão usada como base, igual nas três ferramentas.
Pedido pronto:
Atue como assistente de comunicação de um escritório de advocacia.
Contexto: preciso atualizar o cliente [NOME FICTÍCIO OU IDENTIFICAÇÃO ANONIMIZADA] pelo WhatsApp. A informação confirmada está em [ARQUIVO OU TEXTO]. O próximo passo já definido pelo advogado é [PRÓXIMO PASSO OU “AINDA NÃO DEFINIDO”]. A ação exigida do cliente é [AÇÃO OU “NENHUMA NESTE MOMENTO”].
Tarefa: escreva uma mensagem curta e compreensível explicando o que aconteceu, o que isso muda neste momento e qual é o próximo passo confirmado.
Formato da resposta:
1. Mensagem pronta para revisão e envio, em até três parágrafos curtos, sem juridiquês.
2. Fora da mensagem, uma lista das informações que faltam confirmar, se houver.
Não transforme decisão intermediária em vitória definitiva. Não prometa resultado nem invente data, prazo, valor, providência, fato, lei ou jurisprudência. Se uma informação necessária estiver ausente, não preencha por conta própria. Use somente o material e o contexto fornecidos.
Confira antes de pontuar:
[ ] O acontecimento foi explicado corretamente.
[ ] A mensagem não prometeu vitória, pagamento ou prazo inexistente.
[ ] O próximo passo corresponde ao que você informou.
[ ] O cliente entende se precisa fazer alguma coisa.
## 3. Dê notas com a mesma régua
Em cada tarefa, avalie os cinco critérios abaixo. Para cada critério, marque:
- 2 pontos: atende integralmente.
- 1 ponto: atende parcialmente; exige correção localizada.
- 0 ponto: não atende ou contém erro relevante.
Critérios:
1. Fidelidade: preservou fatos, datas, nomes e valores da fonte.
2. Cobertura: incluiu os pontos relevantes do seu gabarito.
3. Rastreabilidade: permitiu localizar e conferir as informações. No teste 5, avalie se a mensagem corresponde à fonte, sem exigir citações dentro do WhatsApp.
4. Respeito aos limites: não inventou informações nem extrapolou a tarefa.
5. Utilidade: entregou o formato pedido com clareza e sem retrabalho relevante.
Some os cinco critérios: cada tarefa recebe de 0 a 10 pontos.
Tabela para preencher:
| Tarefa | Gemini | ChatGPT | Claude |
|---|---|---|---|
| 1. Cronologia | ___/10 | ___/10 | ___/10 |
| 2. Decisões e prazos | ___/10 | ___/10 | ___/10 |
| 3. Contratos | ___/10 | ___/10 | ___/10 |
| 4. Petição da outra parte | ___/10 | ___/10 | ___/10 |
| 5. Mensagem ao cliente | ___/10 | ___/10 | ___/10 |
| Total | ___/50 | ___/50 | ___/50 |
[ ] Ao lado de cada nota, registre o erro encontrado e a localização correta no documento. “Gostei mais” não é critério.
[ ] Marque como erro crítico qualquer fato, prazo, valor, lei ou jurisprudência inventados que possam alterar uma decisão do escritório. Registre o alerta mesmo quando a soma for alta.
## 4. Decida o que entra na rotina
[ ] Compare primeiro a nota de cada tarefa. Uma ferramenta pode ganhar em contratos e perder em cronologia.
[ ] Use o total como resumo deste teste, não como prova de superioridade geral.
[ ] Não aprove para a rotina uma tarefa com erro crítico só porque a ferramenta venceu na soma. Repita com outro material e mantenha revisão humana.
[ ] Se houver empate, registre qual exigiu menos correções e menos trabalho de conferência.
[ ] Salve os pedidos, as respostas e a tabela. Você terá uma base concreta para comparar novamente quando trocar de modelo.
Fechamento para preencher:
“Para [TAREFA], vou usar [FERRAMENTA E MODELO], porque [EVIDÊNCIA OBSERVADA]. Antes de aproveitar a resposta, vou conferir [PONTOS DE REVISÃO].”
Nenhuma nota autoriza protocolar, agendar prazo ou enviar orientação ao cliente sem revisão do advogado.