Arquivo MN-004-02 · Nota de campoHora local · UTC−3 · Status: Ativo
Matheus Nugas

Nota de campo 02 · IA aplicada

RAG vs CAG: quando parar de buscar e carregar tudo

Retrieval-augmented generation é a resposta padrão para ancorar um modelo nos seus dados. Com janelas de contexto grandes e prompt caching, muitas vezes não é a certa.

Arquivada Leitura 5 min

Toda vez que alguém quer um modelo respondendo perguntas sobre os próprios documentos, o primeiro diagrama no quadro é o mesmo: quebrar os documentos em pedaços, gerar embeddings, guardar num banco vetorial e buscar os mais próximos na hora da pergunta. Isso é RAG, e funciona. Também são muitas peças móveis para uma base de conhecimento que caberia num único prompt. Cache-augmented generation, CAG, é a outra opção: colocar a base inteira no contexto uma vez, guardar em cache e fazer as perguntas em cima dela.

Duas formas de dar seus dados ao modelo

O RAG decide o que o modelo vê na hora da pergunta. Uma etapa de busca escolhe alguns trechos que considera relevantes, e o modelo responde só a partir deles.

PerguntaEmbeddingÍndice vetorialTop-k trechosLLM
Fig. 01 · RAG: uma busca decide o que o modelo lê

O CAG decide o que o modelo vê antes. A base inteira entra no prompt como um prefixo fixo. O estado que o modelo calculou para esse prefixo fica em cache, e as perguntas seguintes reaproveitam esse estado em vez de pagar para ler tudo de novo. O termo vem de um artigo do fim de 2024 com um título provocativo, Don’t Do RAG, mas a ideia ficou prática para todo mundo quando as APIs de modelos passaram a oferecer prompt caching.

Base de conhecimentoPrefixo em cachePerguntaLLM
Fig. 02 · CAG: o modelo lê tudo, uma vez

A diferença que importa: no RAG, uma busca errada vira uma resposta errada, e o modelo não tem como saber que recebeu as páginas erradas. No CAG não existe busca para errar. O modelo tem tudo.

O que o RAG custa

O banco vetorial é a parte visível. O custo real é tudo que você precisa ajustar e manter ajustado:

  1. Chunking. Pequeno demais e você separa a frase que tem a resposta da frase que dá sentido a ela. Grande demais e o top-k se enche de ruído.
  2. Embeddings e ranqueamento. Busca semântica é boa em “parecido” e mais fraca em “exato”. Códigos de produto, números de cláusula e nomes costumam precisar de uma busca por palavra-chave ao lado, e depois de uma etapa para juntar as duas listas de resultados.
  3. Perguntas que cruzam documentos. “Quais contratos têm cláusula de renovação mais curta que a do nosso modelo?” precisa de boa parte da base, não dos cinco trechos mais próximos.
  4. Reindexação. Cada mudança num documento significa quebrar e gerar embeddings de novo, e um pipeline para isso que agora você opera.
  5. Depuração. Quando uma resposta sai errada, primeiro você precisa descobrir se quem falhou foi a busca ou o modelo. São dois sistemas para investigar a cada bug.

Nada disso é motivo para evitar RAG. É motivo para não construir por reflexo.

O que o CAG custa

O CAG elimina o pipeline de busca e troca por outro conjunto de restrições:

  1. Precisa caber. A base, as instruções e a conversa dividem a mesma janela de contexto. Esse é o teto.
  2. Contexto longo não é memória perfeita. Modelos usam melhor o que está no começo e no fim de um prompt longo do que o que está no meio. Mais contexto também significa mais material irrelevante disputando atenção. Teste com perguntas cuja resposta está no fundo do documento.
  3. Cache expira. O cache dos provedores dura minutos, não dias. Com tráfego esparso, muitas requisições pagam o preço cheio de ler o prefixo de novo.
  4. Cache é exato. O cache casa pelo prefixo. Mude um caractere no topo do prompt e tudo que vem depois é novo. O que varia por requisição vai depois da base, nunca antes.
  5. Todo mundo vê tudo. Com RAG dá para filtrar a busca por quem está perguntando. Com CAG, tudo no prefixo fica visível para qualquer pergunta. Níveis de permissão diferentes significam caches diferentes.

Na prática, o código é a parte fácil. Com uma API que suporta prompt caching, CAG é uma marcação no bloco grande de texto:

const response = await client.messages.create({
  model: 'claude-sonnet-5-5',
  max_tokens: 1024,
  system: [
    { type: 'text', text: INSTRUCTIONS },
    {
      type: 'text',
      text: knowledgeBase, // a base inteira, sempre na mesma ordem
      cache_control: { type: 'ephemeral' },
    },
  ],
  messages: [{ role: 'user', content: question }],
});

A primeira requisição grava o cache. As seguintes, dentro do tempo de vida do cache, leem o prefixo por uma fração do preço normal de entrada e começam a responder mais rápido. Essa é a arquitetura inteira.

Como eu decido

Faço quatro perguntas, nesta ordem:

  1. Cabe, com folga? Deixe espaço para instruções, histórico da conversa e a resposta. Se a base só cabe com o contexto quase cheio, trate como não.
  2. Com que frequência muda? Um manual de políticas que muda uma vez por mês é ideal para CAG. Uma base de tickets que muda a cada minuto invalida o cache o tempo todo, então pertence ao RAG.
  3. O tráfego é constante? O CAG compensa quando muitas perguntas batem no mesmo prefixo enquanto o cache está vivo. Poucas perguntas por dia significam pagar para carregar tudo quase toda vez.
  4. Todo mundo vê os mesmos dados? Uma base compartilhada é um cache só. Permissões por usuário empurram para busca com filtros, ou para um cache por grupo de permissão.

Sim para as quatro: comece com CAG. É menos infraestrutura, há menos jeitos de falhar, e você mede a qualidade das respostas antes de construir qualquer outra coisa. Não para a primeira: você precisa de busca, nem que seja para reduzir a base.

O híbrido costuma ser a resposta

A escolha raramente é binária. A maioria das bases reais tem um núcleo pequeno que quase toda pergunta toca (regras do produto, definições, a tabela de preços atual) e uma cauda longa que só algumas perguntas precisam (tickets antigos, contratos arquivados, todas as versões passadas de um documento).

Coloque o núcleo em cache. Busque a cauda. O prefixo em cache dá ao modelo o contexto para entender a pergunta, e a busca só precisa achar o registro específico, um problema de busca muito mais fácil do que achar tudo.

Prefiro começar com tudo no contexto e adicionar busca quando os dados crescerem demais do que começar com um banco vetorial e passar semanas ajustando tamanho de chunk para uma base que caberia num único prompt.

Arquivada emIA aplicadaRAGCAGLLM

Matheus Nugas

Engenheiro fullstack sênior construindo sistemas orientados a eventos na AWS. Mais sobre mim.