ChatGPT falha em teste para checar segurança de criptomoedas

De 20 smart contracts analisados, o popular programa de AI errou em oito – incluindo cinco falhas críticas
Robô android com as mãos na cabeça

Shutterstock

Todo mundo está experimentando o ChatGPT. Até mesmo as corretoras de criptomoedas.

A Coinbase recentemente usou o programa de Inteligência Artificial (AI, na sigla em inglês) para realizar a revisão de segurança de criptomoedas – um requisito para todos os tokens que são listados na maior exchange dos EUA.

Publicidade

Leia também: ChatGPT “cria” empresa com US$ 100 e a transforma em negócio de US$ 25 mil em dois dias

Depois de revisar 20 diferentes smart contracts de ativos digitais, a megapopular ferramenta de AI produziu os mesmos resultados da revisão manual em12 vezes.

No entanto, das oito revisões falhas, cinco foram casos em que o ChatGPT rotulou incorretamente um ativo de alto risco como sendo de baixo risco – o pior caso de falha.

O experimento também revelou que a AI às vezes produzia resultados inconsistentes, com o mesmo prompt de texto gerando resultados diferentes, especialmente ao passar de uma geração do ChatGPT para a versão seguinte.

Ainda assim, a equipe da Coinbase está otimista de que – com mais trabalho – seja possível aumentar a precisão do ChatGPT a um ponto em que ele possa ser usado como uma verificação secundária de garantia de qualidade das listagens.

Publicidade

“Não estamos surpresos, porque esses smart contracts também podem ser auditados automaticamente por outras ferramentas de programação tradicionais”, disse um porta-voz da BlockSec, uma empresa de infraestrutura de segurança blockchain, ao Decrypt.

“No entanto, eles podem não funcionar para lógicas de negócios complicadas, que são as principais superfícies de ataque e as principais brechas nas quais as auditorias de contratos inteligentes devem se concentrar”.

O otimismo da Coinbase sobre o uso da ferramenta para garantias adicionais foi, no entanto, ecoado por outros especialistas em segurança cripto.

“Nesta fase, a AI ainda não pode substituir uma pessoa, mas é uma ajuda indispensável, inclusive para auditores cansados ou desatentos”, disse o pesquisador de segurança independente Officer’s Notes ao Decrypt.

Publicidade

ChatGPT ganhando espaço

Embora ainda de modo hesitante, o setor de segurança blockchain parece estar aceitando a possível implementação de ferramentas de AI.

Mas a AI poderá substituir os auditores manuais de segurança no futuro?

“Talvez um dia cheguemos a esse ponto, mas ainda estamos muito longe. O mais provável é uma abordagem complementar. Há algumas coisas que os humanos fazem melhor do que as máquinas e vice-versa”, Connie, chefe de arquitetura de soluções da Certik Lam disse ao Decrypt.

“As ferramentas nos ajudam a construir coisas novas, mas não nos substituem. A invenção da calculadora não tornou os contadores obsoletos, mas os tornou melhores em seu trabalho.”

Por enquanto, porém, as ferramentas de segurança que não são de AI ainda são muito mais úteis do que qualquer coisa que esteja entrando no mercado para localizar vulnerabilidades.

“As ferramentas atuais de auditoria de segurança ainda são superiores”, disse um porta-voz do OpenZeppelin ao Decrypt. “Eles [Coinbase] estão testando para listar tokens ERC-20, que é um padrão bem conhecido. Isso o torna mais adequado para automação.”

Publicidade

Isso pode mudar logo.

Os rápidos avanços vistos até mesmo entre as versões 3.5 e 4 do ChatGPT são palpáveis, sugerindo que futuras atualizações continuarão a melhorar de qualidade.

“O uso do ChatGPT deve ser incentivado durante a fase de desenvolvimento. É uma ferramenta poderosa, e recusar-se a trabalhar com ele e aprender o que ele pode fazer seria um revés”, disse Lam.

“A AI também é uma ferramenta muito poderosa para pesquisar informações e construir um hub de conhecimento. Ele pode ajudar os usuários a entenderem rapidamente tópicos complicados e se manterem atualizados com as informações de segurança mais recentes.”

*Traduzido com autorização do Decrypt