A OpenAI anunciou o EVMbench, um novo benchmark para avaliar agentes de IA em tarefas de segurança de contratos inteligentes compatíveis com a Ethereum Virtual Machine. A proposta é medir, de forma padronizada, se esses agentes conseguem encontrar falhas graves, reproduzir cenários de exploração e também propor correções, com testes repetíveis e comparáveis entre modelos e abordagens.
O projeto foi desenvolvido em colaboração com a Paradigm e se apoia em um conjunto de vulnerabilidades reais usadas como referência. Segundo a descrição técnica, o benchmark utiliza 120 vulnerabilidades de alta gravidade, extraídas de 40 auditorias e competições públicas, para simular situações do mundo real e evitar avaliações “de laboratório” que não se sustentam na prática.
Como o EVMbench tenta tornar a avaliação “reproduzível”
Um dos pontos centrais é o ambiente de execução. A OpenAI descreve uma estrutura baseada em Rust que permite reproduzir transações de agentes de forma determinística, além de limitar métodos RPC considerados inseguros. A ideia é reduzir variação entre execuções e impedir atalhos que mascarariam a capacidade real do agente em auditoria e exploração.
Na prática, o EVMbench separa o problema em capacidades que se conectam à rotina de segurança: detecção de vulnerabilidades, tentativa de exploração controlada e geração de patches. Esse recorte também deixa claro um risco: ferramentas que evoluem para “atacar” bem podem ser usadas de forma ofensiva se caírem em mãos erradas, o que aumenta a pressão por padrões de avaliação e salvaguardas.
O que chamou atenção nos resultados iniciais
A Paradigm afirmou que modelos recentes melhoraram rapidamente no componente de exploração, citando que o GPT-5.3-Codex já consegue explorar mais de 70% dos casos críticos do conjunto avaliado, um salto relevante frente a modelos anteriores. Essa leitura reforça por que o setor quer métricas claras: se a capacidade ofensiva avança mais rápido do que a defensiva, a assimetria de risco aumenta para protocolos que movimentam grandes volumes.
Estratégia de comunidade: como transformar “benchmark” em entendimento prático
Para crescer comunidade com esse tema, o melhor caminho é educar sem prometer “segurança automática”. A estratégia é dividir o assunto em conteúdos curtos e úteis: primeiro, explicar o que é um benchmark e por que ele importa para auditorias; depois, traduzir os três modos do EVMbench com exemplos simples; por fim, um checklist de boas práticas para times que lidam com stablecoins e automações, como limites de permissão, políticas de chaves e revisão independente. O nosso especialista em crescimento de comunidade entra para transformar a pauta técnica em narrativa clara, com posts, Q&A e um guia enxuto que vira referência recorrente.
O EVMbench marca uma virada de foco: menos discussão abstrata sobre IA “entender código” e mais medição objetiva de capacidades que importam para segurança em produção. Se a indústria adotar benchmarks e práticas de avaliação comparáveis, fica mais fácil separar marketing de desempenho real e acelerar ferramentas defensivas, justamente num momento em que agentes automáticos e contratos de pagamento ganham espaço.
Mauro Andrade cobre cripto internacional, geopolítica digital e mercado global no CriptoBR. Acompanha movimentos regulatórios nos EUA, Europa e Ásia, adoção institucional por grandes players (BlackRock, Fidelity, JPMorgan) e o impacto geopolítico das criptomoedas no cenário financeiro mundial.
