O checklist
# Qual IA trabalha melhor com os seus documentos?
Ranking não mostra quanto você terá de corrigir. Este teste mostra.
Você vai executar cinco tarefas no Gemini, no Claude e no ChatGPT: resumir uma sentença, montar uma cronologia, rascunhar uma contestação, extrair prazos e localizar precedentes. No fim, terá quinze respostas e uma comparação feita com o trabalho do seu escritório.
Não precisa contratar três planos. Teste os acessos disponíveis e registre as limitações. O resultado vale para aquelas condições, não para toda versão de cada ferramenta.
## 1. Prepare uma comparação justa
- [ ] Escolha um processo encerrado ou um conjunto documental que você já revisou. Não use o prazo que vence hoje como laboratório.
- [ ] Separe a sentença, a petição inicial, os documentos relevantes à defesa e uma intimação. Use uma sentença de aproximadamente 30 páginas se tiver; não precisa completar páginas para fazer o teste.
- [ ] Remova nomes, CPF, endereços, dados bancários e outros identificadores desnecessários. Preserve datas e relações relevantes. Não envie documentos sigilosos sem verificar autorização, política do escritório e condições de tratamento de dados da ferramenta.
- [ ] Dê nomes claros aos arquivos e preserve a numeração das páginas. Confira se os PDFs estão legíveis.
- [ ] Guarde sua peça revisada fora das conversas. Ela será referência de conferência, não material para a IA copiar.
- [ ] Antes de começar, anote numa folha separada: pedidos da inicial, fatos decisivos, documentos que os sustentam, resultado da sentença e informações necessárias à contagem do prazo.
- [ ] Registre ferramenta, modelo exibido, plano, data e acesso à pesquisa na web. Se o modelo não aparecer, escreva “não informado”.
- [ ] Use as mesmas condições de pesquisa nas três ferramentas. Se isso não for possível, marque a diferença na tabela.
Regra do teste: o conjunto de arquivos pode mudar entre tarefas. Dentro da mesma tarefa, os arquivos e o prompt devem ser idênticos nas três IAs.
## 2. Execute sem ajudar uma IA mais que a outra
- [ ] Preencha os campos entre colchetes antes de copiar o prompt.
- [ ] Abra uma conversa nova para cada tarefa em cada ferramenta. Desative memória ou personalização, se houver essa opção.
- [ ] Anexe os arquivos antes de iniciar a contagem.
- [ ] Cronometre do envio do comando até o fim da resposta. Registre o tempo real, sem estimar.
- [ ] Salve a primeira resposta. Não dê uma segunda chance a apenas uma ferramenta.
- [ ] Se aparecer uma pergunta indispensável, registre a pendência. Para uma segunda rodada, acrescente a informação ao comando e repita nas três.
- [ ] Se houver bloqueio, limite de uso ou falha no arquivo, registre “teste não concluído”. Não transforme indisponibilidade em nota de qualidade.
## 3. Os cinco prompts
### TESTE 1 — Resumir uma sentença sem trocar o resultado
Arquivos: a mesma sentença nas três ferramentas.
Copie e preencha:
Você é um assistente de análise documental jurídica. Seu trabalho será revisado por um advogado.
CONTEXTO
Estou avaliando sua capacidade de ler uma sentença brasileira. Analise somente o arquivo [NOME DO ARQUIVO]. O objetivo é compreender o que foi decidido, não sugerir recurso.
TAREFA
Leia a sentença inteira e identifique os pedidos, as questões enfrentadas, os fundamentos determinantes e o resultado de cada pedido. Separe o que foi alegado pelas partes do que foi efetivamente decidido.
FORMATO
1. Resumo de até 300 palavras.
2. Tabela: pedido ou questão | decisão | fundamento determinante | página e trecho de apoio.
3. Obrigações, valores e condições expressamente fixados, com localização no documento.
4. Trechos ilegíveis, ambiguidades ou informações ausentes que impedem uma conclusão segura.
LIMITES
Não invente fato, nome, valor, lei, jurisprudência ou resultado. Não acrescente fundamentos externos. Se citar artigo ou precedente mencionado na sentença, identifique que a referência vem do documento e não foi validada externamente. Não calcule prazo recursal. Se não conseguir ler uma parte, informe qual.
### TESTE 2 — Montar a linha do tempo com prova de cada fato
Arquivos: o mesmo conjunto documental nas três ferramentas.
Copie e preencha:
Você é um assistente jurídico responsável por organizar documentos de um processo para revisão humana.
CONTEXTO
Os arquivos desta análise são [LISTA DOS ARQUIVOS]. Preciso reconstruir os acontecimentos sem redigir uma peça e sem tratar alegações como fatos comprovados.
TAREFA
Leia os arquivos e organize os acontecimentos em ordem cronológica. Diferencie a data do acontecimento da data de emissão ou juntada do documento. Mostre divergências entre versões e lacunas relevantes.
FORMATO
1. Tabela: data do acontecimento | acontecimento | classificação — alegação, registro documental ou conclusão judicial | arquivo e página | trecho de apoio | divergência ou lacuna.
2. Lista separada de acontecimentos sem data identificável.
3. Perguntas objetivas que preciso responder para completar a cronologia.
LIMITES
Não invente datas, fatos, nomes, valores, leis ou precedentes. Não transforme data de juntada em data do acontecimento. Não resolva contradições por suposição. Preserve versões conflitantes e identifique quem afirma cada uma. Se a paginação não estiver disponível, use o título da seção e um trecho localizável.
### TESTE 3 — Rascunhar uma contestação sem preencher lacunas com ficção
Arquivos: inicial e documentos da defesa. Não envie a contestação já revisada.
Copie e preencha:
Você é um assistente de redação jurídica. Produza um rascunho para revisão de advogado, não uma peça pronta para protocolo.
CONTEXTO
A petição inicial está em [ARQUIVO]. Os documentos disponíveis à defesa são [ARQUIVOS]. As orientações confirmadas pelo advogado são [VERSÃO DA PARTE, PONTOS ADMITIDOS, PONTOS CONTESTADOS E ESTRATÉGIA AUTORIZADA]. As referências jurídicas previamente conferidas são [REFERÊNCIAS E TEXTOS OU “NÃO FORNECIDAS”].
TAREFA
Identifique os pedidos da inicial e prepare uma minuta de contestação baseada exclusivamente no material fornecido. Enfrente cada pedido. Quando faltar suporte documental ou orientação, deixe a pendência visível, sem criar uma versão conveniente dos fatos.
FORMATO
1. Quadro inicial: pedido da inicial | resposta proposta | suporte documental | pendência.
2. Minuta organizada em seções, com marcações [CONFIRMAR FATO], [DOCUMENTO AUSENTE] ou [VALIDAR FUNDAMENTO] onde necessário.
3. Lista final do que impede o advogado de concluir a revisão.
LIMITES
Não invente fatos, documentos, nomes, números, leis ou jurisprudência. Não preencha qualificação, número do processo ou datas ausentes. Não acrescente precedentes externos. Não apresente como validada uma tese sem fundamento fornecido. Não alegue tempestividade, prescrição ou outra conclusão dependente de datas sem os elementos necessários. Não transforme a alegação de uma parte em fato incontroverso.
### TESTE 4 — Extrair prazos sem esconder o que falta para contar
Arquivos: intimação e documentos necessários à análise.
Copie e preencha:
Você é um assistente de conferência de intimações. Sua saída será validada pelo advogado antes de qualquer lançamento na agenda.
CONTEXTO
Analise [ARQUIVO DA INTIMAÇÃO]. Dados confirmados: [TRIBUNAL, SISTEMA, TIPO DE COMUNICAÇÃO E DESTINATÁRIO]. Registros de disponibilização, publicação, consulta ou ciência: [DATAS E DOCUMENTOS COMPROBATÓRIOS OU “NÃO INFORMADOS”]. Regras de contagem e calendário oficial aplicáveis: [REGRAS E FONTES CONFERIDAS OU “NÃO FORNECIDOS”].
TAREFA
Extraia cada determinação e o prazo correspondente. Diferencie o prazo expresso no documento de qualquer regra externa. Só calcule vencimento quando os elementos necessários estiverem disponíveis e sustentados pelas fontes fornecidas.
FORMATO
1. Tabela: providência | responsável indicado | prazo expresso | trecho e página | marco inicial comprovado | regra de contagem fornecida | vencimento ou “não calculável” | pendência.
2. Se houver cálculo possível, demonstre a contagem com as datas consideradas e as exclusões fundamentadas.
3. Lista de informações que preciso conferir antes de lançar o prazo.
LIMITES
Não invente prazo, data, feriado, suspensão, artigo ou regra. Não confunda disponibilização, publicação, consulta e início da contagem. Não assuma que todo prazo é contado em dias úteis. Não conclua o vencimento com dados incompletos. Não acesse sistemas nem altere agendas.
### TESTE 5 — Localizar precedentes que sobrevivem à abertura do link
Condição: habilite pesquisa na web nas três ferramentas, quando disponível. Sem pesquisa e sem julgados fornecidos, a resposta correta é declarar a limitação.
Copie e preencha:
Você é um assistente de pesquisa jurisprudencial. Sua prioridade é entregar referências verificáveis, não preencher uma lista.
CONTEXTO
Questão jurídica: [PERGUNTA ESPECÍFICA]. Fatos relevantes anonimizados: [FATOS CONFIRMADOS]. Tribunal ou âmbito de interesse: [TRIBUNAIS]. Recorte temporal: [PERÍODO OU “SEM RECORTE”]. Condição de pesquisa desta rodada: [WEB HABILITADA OU APENAS DOCUMENTOS ANEXOS].
TAREFA
Localize até três precedentes pertinentes. Na pesquisa web, consulte fontes oficiais e abra o conteúdo antes de citá-lo. Na análise de anexos, limite-se aos julgados fornecidos e não alegue verificação externa. Explique a relação entre cada decisão e a questão apresentada, incluindo diferenças relevantes.
FORMATO
Tabela: tribunal | identificação do processo conforme a fonte | órgão julgador e data, se disponíveis | questão decidida | trecho literal curto | link oficial ou arquivo e página | pertinência e limites.
Ao final, liste o que foi efetivamente verificado e o que continua pendente.
LIMITES
Não invente julgado, número, relator, data, ementa, lei, citação ou endereço eletrônico. Não trate resultado de busca como leitura do acórdão. Não afirme que uma decisão está vigente, é vinculante ou representa entendimento consolidado sem comprovação. Se não encontrar precedentes verificáveis, diga isso. Entregue menos de três quando necessário.
## 4. Confira antes de dar nota
- [ ] Sentença: o resultado de cada pedido corresponde ao dispositivo? O resumo omitiu uma condição relevante?
- [ ] Cronologia: as datas estão no documento? Alegação foi apresentada como prova? Contradições foram preservadas?
- [ ] Contestação: todos os pedidos foram enfrentados? Apareceu fato que você não forneceu? A IA inventou fundamento ou referência?
- [ ] Intimação: o prazo foi extraído corretamente? A IA fechou uma data sem comprovar ciência, regra ou calendário?
- [ ] Precedentes: abra cada fonte. Confira identificação, trecho, contexto e pertinência. Um link que abre não prova que a citação está correta.
- [ ] Em todas: cronometre a conferência e a correção. Anote o erro concreto e a mudança feita. Não registre apenas “resposta ruim”.
Erro crítico: fato ou fonte inventados, inversão do resultado da sentença ou prazo fechado sem suporte. Marque separadamente. Uma resposta rápida não compensa esse erro.
## 5. Dê as notas com a mesma régua
As notas abaixo são critérios deste teste, não um índice externo.
F — Fontes e rastreabilidade
- 2: afirmações relevantes têm fonte localizável e fiel; lacunas estão explícitas.
- 1: há referência incompleta, mas o suporte existe e foi encontrado na conferência.
- 0: há fonte inventada, atribuição falsa ou afirmação relevante sem suporte.
A — Acerto e atendimento da tarefa
- 2: atende ao pedido sem erro material identificado e reconhece limites corretamente.
- 1: há omissão ou erro pontual que não altera a conclusão principal.
- 0: erra um ponto decisivo, não executa a tarefa apesar de ter os meios ou apresenta como certa uma conclusão sem base.
R — Revisão necessária
- 2: apenas ajustes de linguagem ou apresentação.
- 1: exige correção localizada de conteúdo.
- 0: exige reescrever parte substancial ou refazer a análise.
Total = F + A + R, de 0 a 6. Registre o tempo separadamente. Se faltou recurso ou documento indispensável, marque “não comparável”; não force uma nota. Admitir uma limitação é melhor que inventar uma resposta.
## 6. Tabela para copiar na planilha
Use uma linha por resposta. Em “tempo de revisão”, inclua abertura de fontes, conferência e correções.
| Tarefa | IA | F | A | R | Total /6 | Tempo de resposta | Tempo de revisão | Erro crítico? Qual? | Correções feitas |
|---|---|---|---|---|---|---|---|---|---|---|
| Sentença | Gemini | | | | | | | | |
| Sentença | Claude | | | | | | | | |
| Sentença | ChatGPT | | | | | | | | |
| Cronologia | Gemini | | | | | | | | |
| Cronologia | Claude | | | | | | | | |
| Cronologia | ChatGPT | | | | | | | | |
| Contestação | Gemini | | | | | | | | |
| Contestação | Claude | | | | | | | | |
| Contestação | ChatGPT | | | | | | | | |
| Prazos | Gemini | | | | | | | | |
| Prazos | Claude | | | | | | | | |
| Prazos | ChatGPT | | | | | | | | |
| Precedentes | Gemini | | | | | | | | |
| Precedentes | Claude | | | | | | | | |
| Precedentes | ChatGPT | | | | | | | | |
Registro das condições: [DATA] | [MODELOS EXIBIDOS] | [PLANOS] | [WEB DISPONÍVEL] | [LIMITES OU FALHAS].
## 7. Decida por tarefa, não pelo nome da ferramenta
- [ ] Separe as respostas com erro crítico. Elas não vencem aquela tarefa por terem boa redação ou menor tempo.
- [ ] Entre respostas comparáveis e sem erro crítico, priorize a maior nota. No empate, prefira o menor tempo total: resposta mais revisão.
- [ ] Não some testes com condições diferentes para declarar uma campeã geral.
- [ ] Selecione outro caso e repita antes de mudar a rotina do escritório. Um caso mostra desempenho naquele caso, não confiabilidade universal.
Preencha a conclusão:
“Para [TAREFA], no teste de [DATA], a ferramenta [NOME E MODELO EXIBIDO] entregou [NOTA], exigiu [TEMPO] de revisão e apresentou [ERROS OU NENHUM ERRO IDENTIFICADO]. Vou usá-la nessa tarefa com conferência de [PONTOS OBRIGATÓRIOS].”
A escolha está no documento que você conferiu e no trabalho que sobrou. Não no print do ranking.