Diagnosticador de Retrieval em RAG
Localize falhas de RAG em chunking, embedding ou reranking — com um plano de correção mensurável.
Por Os Melhores Prompts
Categoria: Engenharia de IA
O que ele faz
Separa uma falha de RAG em quatro camadas — ingestão e parsing, chunking, embedding e indexação, reranking e montagem — e localiza o defeito em uma delas antes de propor qualquer mudança. Primeiro decide se a resposta estava ausente dos chunks recuperados (falha de recall) ou presente e ignorada (falha de generation), depois ranqueia no máximo quatro mudanças de configuração, cada uma ligada ao sintoma observado e a um delta de recall@k ou nDCG que decide se ela vai para produção.
Use quando
- Um RAG que vai bem na demo e mal nas perguntas reais
- Retrieval que regrediu após mudar chunking ou embedding
- Escolher entre reranking, busca híbrida e chunks maiores
- Antes de gastar trocando o modelo de embedding ou o vector store
O que você recebe
- Um veredito retrieval vs. generation com base nos chunks reais
- Tabela de falha: camada, sintoma, confiança, evidência
- Até 4 mudanças de config ranqueadas, com efeito esperado e risco
- Plano de medição: métrica, eval set e limiar para subir
- Um experimento barato que separa as duas principais hipóteses
Como usar
- Descreva o corpus em {{corpus_description}} — tipo, tamanho, estrutura, idioma.
- Informe o {{chunking_config}} exato (estratégia, tamanho, overlap, metadados) e o {{embedding_config}} (modelo, dimensões, store, tipo de busca, top_k, filtros).
- Liste em {{failing_queries}} as perguntas que falham com a resposta esperada, e inclua ao menos uma que funciona para servir de contraste.
- Cole os chunks crus em {{retrieved_context}}, não um resumo — as fronteiras de chunk e os metadados ausentes são onde o bug costuma estar.
- Rode o experimento discriminante barato antes de aplicar qualquer correção ranqueada.
Tags: rag, retrieval, embeddings, chunking, vector-search, reranking, recall-at-k
Preço: 10.00 BRL