BLOG
Tecnologia, código, experimentos e algumas opiniões não solicitadas.
Usar um modelo para avaliar outro resolve o problema de escala e cria um novo: quem garante que o próprio julgador está certo? Calibração contra avaliação humana continua sendo necessária.
Mudar um prompt e testar na mão umas cinco perguntas antes de subir para produção não prova nada sobre os outros cem casos que ninguém olhou. Regressão automatizada existe para isso.
Usar um modelo para avaliar a resposta de outro modelo escala revisão que seria inviável fazer manualmente, mas carrega vieses conhecidos, como preferir a primeira opção ou a resposta mais longa.
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
Prompt é a instrução de uma chamada. Contexto é o que está ativo na janela naquele momento. Memória é o que persiste entre chamadas. RAG é o mecanismo que busca informação externa para preencher isso.
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Dividir documento em pedaços de tamanho fixo é o jeito mais simples de fazer chunking para RAG, e também o que mais corta ideia ao meio. A estratégia de corte muda diretamente a qualidade da busca dep …
RAG é a diferença entre fazer prova de memória e fazer prova de consulta: em vez de confiar só no que o modelo decorou no treino, ele busca informação relevante antes de responder.
MMLU, GSM8K e HumanEval dizem alguma coisa sobre um modelo, mas não dizem se ele resolve bem a tarefa específica da sua aplicação. Contaminação de dado e saturação de benchmark explicam por quê.
Supervisor, Router e Workers é uma arquitetura clássica para sistemas multi-agente: o Router encaminha, os Workers executam e o Supervisor avalia se a entrega realmente resolveu o problema.