TAG
22 textos
Resiliência em sistemas de IA não é uma única camada de proteção, é a combinação de validação de entrada, contingência de provedor e recuperação de formato, porque cada uma falha de um jeito diferente …
Um modelo pode liderar todo leaderboard genérico relevante e ainda errar sistematicamente na tarefa específica que sua aplicação precisa resolver, porque nenhum benchmark público foi desenhado para o …
Evals substitui a avaliação por impressão por asserções verificáveis: correspondência exata quando faz sentido, similaridade semântica quando não faz, e julgamento por rubrica quando nenhuma das duas …
Modelo mais capaz custa mais e responde mais devagar. Modelo mais rápido e barato erra mais. Não existe ponto que otimize os três eixos ao mesmo tempo, só existe qual trade-off faz sentido para cada c …
Usar um modelo para avaliar outro resolve o problema de escala e cria um novo: quem garante que o próprio julgador está certo? Calibração contra avaliação humana continua sendo necessária.
Mudar um prompt e testar na mão umas cinco perguntas antes de subir para produção não prova nada sobre os outros cem casos que ninguém olhou. Regressão automatizada existe para isso.
Usar um modelo para avaliar a resposta de outro modelo escala revisão que seria inviável fazer manualmente, mas carrega vieses conhecidos, como preferir a primeira opção ou a resposta mais longa.
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Dividir documento em pedaços de tamanho fixo é o jeito mais simples de fazer chunking para RAG, e também o que mais corta ideia ao meio. A estratégia de corte muda diretamente a qualidade da busca dep …
RAG é a diferença entre fazer prova de memória e fazer prova de consulta: em vez de confiar só no que o modelo decorou no treino, ele busca informação relevante antes de responder.
Um pipeline RAG em .NET é uma sequência concreta de etapas: ingerir texto, gerar embedding, guardar num vector store, buscar por similaridade e injetar o resultado no prompt antes de gerar a resposta.
MMLU, GSM8K e HumanEval dizem alguma coisa sobre um modelo, mas não dizem se ele resolve bem a tarefa específica da sua aplicação. Contaminação de dado e saturação de benchmark explicam por quê.
Adicionar mais agentes a um fluxo de IA não melhora o resultado por padrão. Às vezes só multiplica erro, custo e a chance de dois agentes discordarem sem resolver nada.
LLM é o modelo, chatbot é a interface de conversa construída em cima dele e agente é outra coisa: um sistema com ciclo de decisão, ferramentas e autonomia delimitada.
Prompt Chaining divide uma tarefa complexa em etapas sequenciais, onde a saída de um prompt vira entrada do próximo, em vez de apostar tudo numa única chamada.
Pedir “responda em JSON” no texto do prompt não garante validade sintática; suporte nativo a Structured Output existe justamente para fechar essa lacuna.
Janela de contexto grande não é sinônimo de resposta melhor: atenção de LLMs se distribui de forma desigual, e contexto em excesso cobra em latência e custo.
Context Engineering desloca a atenção de ajustar palavras no prompt para decidir o que realmente entra na janela de contexto de um modelo.
Janela de contexto e memória resolvem problemas diferentes: uma é o espaço finito de uma interação, a outra é armazenamento persistente entre sessões.
Zero-shot e few-shot descrevem uma ideia simples, pedir com ou sem exemplo, escondida atrás de uma terminologia mais complicada do que precisa.
Contexto, instrução, restrições e exemplos mudam a qualidade de uma resposta de IA generativa mais do que qualquer técnica isolada de prompt engineering.