Jailbreak, Prompt Injection e instruções maliciosas: é tudo a mesma coisa?
Jailbreak ataca as travas do modelo, prompt injection ataca a instrução da aplicação e vazamento de dados é uma consequência: termos vizinhos, riscos diferentes.
BLOG
Ideias e devaneios
Tecnologia, código, experimentos e algumas opiniões não solicitadas.
Prompt Injection: quando alguém tenta dar ordens para sua IA pelas suas costas
Prompt injection acontece quando texto não confiável, vindo de um usuário ou de um documento, é lido pelo modelo como instrução, e o OWASP admite que não há prevenção infalível.
Como evitar que múltiplos agentes gastem tokens discutindo entre eles
Sem um mecanismo explícito de parada, um ciclo de agentes revisando e corrigindo a resposta um do outro pode continuar rodando indefinidamente, sem nenhum limite natural que faça isso parar sozinho.
Estado, contexto e memória em sistemas Multi-Agent
Compartilhar estado entre agentes pode significar um objeto único que todos leem e escrevem, mensagens trocadas diretamente entre eles, ou um quadro comum onde cada um publica o que descobriu, cada mo …
Human-in-the-loop: talvez sua IA ainda precise perguntar antes de fazer besteira
Human-in-the-loop introduz um ponto de pausa deliberado em fluxos automatizados, reservado para ações críticas ou irreversíveis que um agente não deveria decidir sozinho.
Agentes especializados ou um agente que faz tudo? Uma comparação pragmática
Um agente com dezenas de ferramentas e vários agentes especializados resolvem o mesmo tipo de problema de formas diferentes, com custos distintos em precisão de escolha de ferramenta e manutenção.
Memória de curto e longo prazo em agentes: o que vale a pena guardar?
Nem toda informação de uma conversa merece virar memória permanente: a diferença está em decidir o que sobrevive à sessão e o que só existia ali por um motivo pontual.
Benchmark público não conhece sua aplicação
Um modelo pode liderar todo leaderboard genérico relevante e ainda errar sistematicamente na tarefa específica que sua aplicação precisa resolver, porque nenhum benchmark público foi desenhado para o …
Evals: como parar de perguntar "parece bom?" para sua IA
Evals substitui a avaliação por impressão por asserções verificáveis: correspondência exata quando faz sentido, similaridade semântica quando não faz, e julgamento por rubrica quando nenhuma das duas …
Latência, qualidade e custo: escolha seus problemas
Modelo mais capaz custa mais e responde mais devagar. Modelo mais rápido e barato erra mais. Não existe ponto que otimize os três eixos ao mesmo tempo, só existe qual trade-off faz sentido para cada c …