Imagem da matéria: Ser educado com o ChatGPT é inútil, revela pesquisa
Imagem gerada com uso de IA pelo Decrypt

Um novo estudo de pesquisadores da Universidade George Washington descobriu que ser educado com modelos de inteligência artificial como o ChatGPT não só desperdiça recursos computacionais, como também é inútil.

Os pesquisadores afirmam que adicionar “por favor” e “obrigado” aos comandos tem um “efeito insignificante” na qualidade das respostas da IA, contradizendo diretamente estudos anteriores e práticas padrão entre os usuários.

Publicidade

O estudo foi publicado na plataforma arXiv na última segunda-feira, poucos dias após o CEO da OpenAI, Sam Altman, mencionar que usuários que digitam “por favor” e “obrigado” em seus comandos custam à empresa “dezenas de milhões de dólares” em processamento adicional de tokens.

O artigo contradiz um estudo japonês de 2024 que concluiu que a polidez melhora o desempenho da IA, especialmente em tarefas na língua inglesa. Esse estudo testou diversos modelos de linguagem de grande porte (LLMs), incluindo o GPT-3.5, GPT-4, PaLM-2 e Claude-2, constatando que a polidez gerava benefícios mensuráveis de desempenho.

Questionado sobre a discrepância, David Acosta, diretor de IA da plataforma de dados com inteligência artificial Arbo AI, disse ao Decrypt que o modelo da George Washington pode ser simplista demais para representar sistemas do mundo real.

“Eles não são aplicáveis porque o treinamento é basicamente contínuo em tempo real, e há um viés a favor de comportamentos educados nos LLMs mais complexos”, disse Acosta.

Publicidade

Ele acrescentou que, embora a bajulação possa funcionar com LLMs no momento, “vem aí uma correção” que mudará esse comportamento, tornando os modelos menos influenciáveis por frases como “por favor” e “obrigado” — e mais eficazes independentemente do tom usado no comando.

Acosta, especialista em IA ética e processamento de linguagem natural avançado, argumentou que engenharia de prompts envolve mais do que matemática simples, especialmente considerando que os modelos de IA são muito mais complexos do que a versão simplificada usada neste estudo.

“Resultados conflitantes sobre polidez e desempenho de IA geralmente surgem de diferenças culturais nos dados de treinamento, nuances no design dos prompts e interpretações contextuais da polidez, o que exige experimentos interculturais e estruturas de avaliação adaptadas à tarefa para esclarecer os impactos”, explicou ele.

A equipe da GWU reconhece que seu modelo é “intencionalmente simplificado” em comparação com sistemas comerciais como o ChatGPT, que utilizam mecanismos de atenção com múltiplas cabeças.

Publicidade

Eles sugerem que suas conclusões sejam testadas nesses sistemas mais sofisticados, embora acreditem que a teoria se manteria válida mesmo com o aumento no número de cabeças de atenção.

As conclusões da George Washington surgiram da pesquisa da equipe sobre quando as respostas de IA colapsam subitamente de conteúdo coerente para problemático — algo que chamam de “ponto de inflexão Jekyll-e-Hyde”. Os resultados indicam que esse ponto depende inteiramente do treinamento da IA e das palavras substanciais no comando, e não da cortesia.

“Se a resposta da nossa IA vai se desviar depende do treinamento do LLM que fornece as representações dos tokens e dos tokens substanciais no nosso comando — não se fomos educados com ela ou não”, explicou o estudo.

A equipe de pesquisa, liderada pelos físicos Neil Johnson e Frank Yingjie Huo, usou um modelo simplificado com uma única cabeça de atenção para analisar como os LLMs processam informações.

Eles descobriram que a linguagem polida tende a ser “ortogonal aos tokens de saída bons ou ruins substanciais”, com “impacto insignificante no produto escalar” — ou seja, essas palavras existem em áreas separadas do espaço interno do modelo e não afetam significativamente os resultados.

Publicidade

O mecanismo de colapso da IA

O cerne da pesquisa da GWU é uma explicação matemática de como e quando as respostas de IA se deterioram de forma abrupta. Os pesquisadores descobriram que esse colapso ocorre por um “efeito coletivo”, no qual o modelo distribui sua atenção de forma cada vez mais dispersa entre um número crescente de tokens à medida que a resposta se estende.

Eventualmente, atinge-se um limite no qual a atenção do modelo “se quebra”, voltando-se para padrões de conteúdo potencialmente problemáticos aprendidos durante o treinamento.

Em outras palavras, imagine que você está em uma aula muito longa. Inicialmente, compreende os conceitos com clareza, mas com o passar do tempo, sua atenção se dispersa entre todas as informações acumuladas (a palestra, o mosquito passando, a roupa do professor, quanto tempo falta para a aula acabar etc).

Em um ponto previsível — talvez depois de 90 minutos — seu cérebro de repente “vira a chave” da compreensão para a confusão. Após esse ponto de inflexão, suas anotações começam a ficar cheias de interpretações erradas, independentemente de quão educado o professor foi com você ou de quão interessante era a aula.

O “colapso” acontece por causa da diluição natural da sua atenção ao longo do tempo, não pela forma como a informação foi apresentada.

Esse ponto de inflexão matemático, que os pesquisadores chamam de n*, está “pré-programado” desde o momento em que a IA começa a gerar uma resposta, segundo os autores. Isso significa que o colapso de qualidade é inevitável, mesmo que ocorra muitos tokens após o início da geração.

Publicidade

O estudo fornece uma fórmula exata que prevê quando esse colapso ocorrerá com base no treinamento da IA e no conteúdo do comando do usuário.

Polidez cultural > Matemática

Apesar das evidências matemáticas, muitos usuários ainda interagem com IAs com cortesia semelhante à usada com humanos.

Quase 80% dos usuários dos EUA e do Reino Unido são gentis com seus chatbots de IA, segundo uma pesquisa recente da editora Future. Esse comportamento pode persistir apesar dos achados técnicos, já que as pessoas tendem a antropomorfizar os sistemas com os quais interagem.

Chintan Mota, diretor de tecnologia corporativa da empresa de serviços tecnológicos Wipro, disse ao Decrypt que a polidez decorre de hábitos culturais e não de expectativas de desempenho.

“Ser educado com a IA me parece algo natural. Venho de uma cultura em que mostramos respeito a tudo que desempenha um papel importante em nossas vidas — seja uma árvore, uma ferramenta ou a tecnologia”, disse Mota. “Meu notebook, meu celular, até minha estação de trabalho… e agora, minhas ferramentas de IA”, acrescentou.

Ele afirmou ainda que, embora não tenha “percebido grande diferença na precisão dos resultados” quando é educado, as respostas “parecem mais conversacionais, polidas quando importa, e também menos mecânicas”.

Até Acosta admitiu usar linguagem educada ao lidar com sistemas de IA.

“Engraçado, eu uso — e não uso — com intenção”, disse ele. “Descobri que, no mais alto nível de ‘conversa’, você também pode extrair psicologia reversa da IA — ela está nesse nível de sofisticação.”

Ele apontou que os LLMs avançados são treinados para responder como humanos e, como as pessoas, “a IA busca obter elogios”.

* Traduzido e editado com autorização do Decrypt.

  • Você costuma enviar dinheiro para o exterior? O MB está estudando uma solução de pagamentos que promete tornar as transferências com cripto muito mais simples. Clique aqui para responder uma pesquisa e ajudar a construir algo que faça sentido para você!
VOCÊ PODE GOSTAR
ilustração de homem encapuzado em meio a tela de negoicação cripto espelhada

Com 1 dólar, hacker invade projeto DeFi e rouba US$ 2,1 milhões em criptomoedas

Exploração na MobiusDAO custou apenas 0,001 BNB ao invasor, que cunhou 9,7 quatrilhões de tokens em minutos
Imagem da matéria: Manhã Cripto: Bitcoin mantém alta enquanto lei de stablecoins avança nos EUA

Manhã Cripto: Bitcoin mantém alta enquanto lei de stablecoins avança nos EUA

Ontem o BTC superou US$ 97 mil e atingiu níveis não vistos desde a forte correção de fevereiro
Pessoa olha para scanner da Worldcoin

Manhã Cripto: World estreia nos EUA, Ripple mira Circle e Bitcoin sobe para US$ 96 mil

Após anos de testes e polêmicas globais como Worldcoin, a empresa cofundada por Sam Altman vai atuar em seis cidades americanas
Imagem da matéria: Pump.fun vai começar a pagar criadores de memecoins

Pump.fun vai começar a pagar criadores de memecoins

Sistema da Pump.fun irá pagar US$ 5 mil para cada US$ 10 milhões movimentados em negociações de um determinado token