Golden Dataset: criando uma prova para sua IA
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
BLOG
Tecnologia, código, experimentos e algumas opiniões não solicitadas.
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
Prompt é a instrução de uma chamada. Contexto é o que está ativo na janela naquele momento. Memória é o que persiste entre chamadas. RAG é o mecanismo que busca informação externa para preencher isso.
Rastrear chamada de modelo, tokens consumidos e ferramenta acionada é o que separa depurar um agente de tentar adivinhar por que ele respondeu daquele jeito à uma da manhã.
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Um embedding transforma texto num vetor de números que representa significado, e comparar dois vetores com similaridade de cosseno é como um sistema decide se duas frases 'falam da mesma coisa'.
Dividir documento em pedaços de tamanho fixo é o jeito mais simples de fazer chunking para RAG, e também o que mais corta ideia ao meio. A estratégia de corte muda diretamente a qualidade da busca dep …
Askeladd, Scar e Pain são antagonistas com motivação compreensível, e é exatamente essa compreensão que torna o conflito das suas histórias mais difícil de resolver com uma opinião simples.
Amazon Bedrock dá acesso gerenciado a modelos de diferentes provedores, incluindo Claude, pela mesma API Converse, sem precisar gerenciar infraestrutura de inferência.
RAG é a diferença entre fazer prova de memória e fazer prova de consulta: em vez de confiar só no que o modelo decorou no treino, ele busca informação relevante antes de responder.
Existe uma diferença real entre uma agenda cheia e um trabalho que realmente importa, e confundir as duas coisas é fácil demais quando ocupação vira sinônimo de valor.