Toda vez que alguém quer um modelo respondendo perguntas sobre os próprios documentos, o primeiro diagrama no quadro é o mesmo: quebrar os documentos em pedaços, gerar embeddings, guardar num banco vetorial e buscar os mais próximos na hora da pergunta. Isso é RAG, e funciona. Também são muitas peças móveis para uma base de conhecimento que caberia num único prompt. Cache-augmented generation, CAG, é a outra opção: colocar a base inteira no contexto uma vez, guardar em cache e fazer as perguntas em cima dela.
Duas formas de dar seus dados ao modelo
O RAG decide o que o modelo vê na hora da pergunta. Uma etapa de busca escolhe alguns trechos que considera relevantes, e o modelo responde só a partir deles.
O CAG decide o que o modelo vê antes. A base inteira entra no prompt como um prefixo fixo. O estado que o modelo calculou para esse prefixo fica em cache, e as perguntas seguintes reaproveitam esse estado em vez de pagar para ler tudo de novo. O termo vem de um artigo do fim de 2024 com um título provocativo, Don’t Do RAG, mas a ideia ficou prática para todo mundo quando as APIs de modelos passaram a oferecer prompt caching.
A diferença que importa: no RAG, uma busca errada vira uma resposta errada, e o modelo não tem como saber que recebeu as páginas erradas. No CAG não existe busca para errar. O modelo tem tudo.
O que o RAG custa
O banco vetorial é a parte visível. O custo real é tudo que você precisa ajustar e manter ajustado:
- Chunking. Pequeno demais e você separa a frase que tem a resposta da frase que dá sentido a ela. Grande demais e o top-k se enche de ruído.
- Embeddings e ranqueamento. Busca semântica é boa em “parecido” e mais fraca em “exato”. Códigos de produto, números de cláusula e nomes costumam precisar de uma busca por palavra-chave ao lado, e depois de uma etapa para juntar as duas listas de resultados.
- Perguntas que cruzam documentos. “Quais contratos têm cláusula de renovação mais curta que a do nosso modelo?” precisa de boa parte da base, não dos cinco trechos mais próximos.
- Reindexação. Cada mudança num documento significa quebrar e gerar embeddings de novo, e um pipeline para isso que agora você opera.
- Depuração. Quando uma resposta sai errada, primeiro você precisa descobrir se quem falhou foi a busca ou o modelo. São dois sistemas para investigar a cada bug.
Nada disso é motivo para evitar RAG. É motivo para não construir por reflexo.
O que o CAG custa
O CAG elimina o pipeline de busca e troca por outro conjunto de restrições:
- Precisa caber. A base, as instruções e a conversa dividem a mesma janela de contexto. Esse é o teto.
- Contexto longo não é memória perfeita. Modelos usam melhor o que está no começo e no fim de um prompt longo do que o que está no meio. Mais contexto também significa mais material irrelevante disputando atenção. Teste com perguntas cuja resposta está no fundo do documento.
- Cache expira. O cache dos provedores dura minutos, não dias. Com tráfego esparso, muitas requisições pagam o preço cheio de ler o prefixo de novo.
- Cache é exato. O cache casa pelo prefixo. Mude um caractere no topo do prompt e tudo que vem depois é novo. O que varia por requisição vai depois da base, nunca antes.
- Todo mundo vê tudo. Com RAG dá para filtrar a busca por quem está perguntando. Com CAG, tudo no prefixo fica visível para qualquer pergunta. Níveis de permissão diferentes significam caches diferentes.
Na prática, o código é a parte fácil. Com uma API que suporta prompt caching, CAG é uma marcação no bloco grande de texto:
const response = await client.messages.create({
model: 'claude-sonnet-5-5',
max_tokens: 1024,
system: [
{ type: 'text', text: INSTRUCTIONS },
{
type: 'text',
text: knowledgeBase, // a base inteira, sempre na mesma ordem
cache_control: { type: 'ephemeral' },
},
],
messages: [{ role: 'user', content: question }],
});
A primeira requisição grava o cache. As seguintes, dentro do tempo de vida do cache, leem o prefixo por uma fração do preço normal de entrada e começam a responder mais rápido. Essa é a arquitetura inteira.
Como eu decido
Faço quatro perguntas, nesta ordem:
- Cabe, com folga? Deixe espaço para instruções, histórico da conversa e a resposta. Se a base só cabe com o contexto quase cheio, trate como não.
- Com que frequência muda? Um manual de políticas que muda uma vez por mês é ideal para CAG. Uma base de tickets que muda a cada minuto invalida o cache o tempo todo, então pertence ao RAG.
- O tráfego é constante? O CAG compensa quando muitas perguntas batem no mesmo prefixo enquanto o cache está vivo. Poucas perguntas por dia significam pagar para carregar tudo quase toda vez.
- Todo mundo vê os mesmos dados? Uma base compartilhada é um cache só. Permissões por usuário empurram para busca com filtros, ou para um cache por grupo de permissão.
Sim para as quatro: comece com CAG. É menos infraestrutura, há menos jeitos de falhar, e você mede a qualidade das respostas antes de construir qualquer outra coisa. Não para a primeira: você precisa de busca, nem que seja para reduzir a base.
O híbrido costuma ser a resposta
A escolha raramente é binária. A maioria das bases reais tem um núcleo pequeno que quase toda pergunta toca (regras do produto, definições, a tabela de preços atual) e uma cauda longa que só algumas perguntas precisam (tickets antigos, contratos arquivados, todas as versões passadas de um documento).
Coloque o núcleo em cache. Busque a cauda. O prefixo em cache dá ao modelo o contexto para entender a pergunta, e a busca só precisa achar o registro específico, um problema de busca muito mais fácil do que achar tudo.
Prefiro começar com tudo no contexto e adicionar busca quando os dados crescerem demais do que começar com um banco vetorial e passar semanas ajustando tamanho de chunk para uma base que caberia num único prompt.