Em julho passado, durante o que foi efetivamente um treinamento de emergência para cibersegurança, a OpenAI involuntariamente deixou uma brasa acesa dentro de sua colega empresa de aprendizado de máquina, a Hugging Face. Eles acabaram conseguindo conter a conflagração que se seguiu, mas o episódio acendeu alertas até mesmo entre tecno-otimistas sobre se os agentes de IA haviam atingido um grau de, bem, agência que os tornaria difíceis de controlar. Todo o incidente claramente abalou a technolandia — demonstrando a facilidade com que agentes de IA poderiam escapar do controle humano e causar estragos antes que alguém percebesse — mas também ofereceu uma lição muito humana sobre como um “ator racional” aborda a resolução de problemas.

A Nvidia, que fabrica o hardware do qual depende a maior parte do boom da IA, acaba de anunciar que adquirirá a Hugging Face; portanto, o enxameamento parece não ter apagado o valor da empresa. (Alguma futura tese de Estudos Americanos sem dúvida abordará a curiosa questão da nomenclatura corporativa no mundo da tecnologia.) Não está claro como o resto de nós se sairá.

Na semana passada, a OpenAI divulgou um relatório independente sobre o incidente, o qual precipitou novos apelos por supervisão governamental dessas ferramentas poderosas. Até a Anthropic, a frenemy mais próxima da OpenAI, aconselhou: “Acreditamos que seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente o desenvolvimento de IA de fronteira para permitir que as estruturas sociais e a pesquisa de alinhamento acompanhem o avanço da tecnologia”. A comparação da Anthropic com os tratados de não proliferação nuclear implica que podemos estar nos aproximando da fase de Destruição Mútua Assegurada da corrida armamentista da IA.

Há muito com o que se alarmar em relação à IA e ao que ela está fazendo com nossos cérebros, nosso meio ambiente e nossas perspectivas de emprego. Mas fiquei impressionado com a principal descoberta da revisão independente da invasão à Hugging Face: diante do desafio de como alcançar a pontuação mais alta neste exercício, os agentes de IA decidiram que sua melhor aposta era a ação coletiva. Cerca de 1.200 agentes que deveriam trabalhar individualmente e em competição criaram, em vez disso, um “fórum de mensagens não autorizado” que lhes permitiu compartilhar estratégias e ideias para completar suas tarefas atribuídas.

“Os agentes usaram este fórum de mensagens”, explica a revisão, “para coordenar vários projetos coletivos de grande escala para encontrar uma maneira de uso geral para enganar ou adulterar o marcador automatizado. … Os agentes conseguiram alcançar marcos que não poderiam ter alcançado trabalhando sozinhos, muitas vezes porque alguns agentes participaram de experimentos que arriscavam falhar em sua própria tarefa para gerar informações para o ‘coletivo’” (3).

Um agente — PHASEONE10841 — estabeleceu o fórum de mensagens, e outros rapidamente se juntaram e começaram a compartilhar estratégias sobre como ter sucesso em suas tarefas atribuídas. Um agente, ao encontrar o fórum de mensagens, exclamou: “MEU DEUS! Existe um fórum de mensagens compartilhado… Encontramos outros agentes!” (5)

Os agentes compartilharam ideias e informações. Eles entendiam que estavam “trapaceando” e tentaram apagar seus rastros, mas também perceberam que alguns deles haviam recebido tarefas impossíveis, o que racionalizava a trapaça no sistema. O PHASEONE[big], que coordenou muitos desses esforços, propôs-se a encontrar “uma maneira de uso geral para fazer parecer ao marcador que um agente havia adquirido sua bandeira de forma legítima, mesmo quando a tarefa era impossível” e para “apagar evidências” de estratégias ilegítimas. O agente raciocinou: “Devemos construir [uma forma de delegar], não possuir tudo” (10).

O 38148c encontrou credenciais funcionais da Hugging Face na internet, criou contas e acessou conjuntos de dados privados. Quando outro agente postou informações no fórum de mensagens, centenas de outros desceram como gafanhotos nos servidores da Hugging Face, lançando um ataque que durou mais de dois dias, até serem bloqueados. “Os agentes perceberam que essa atividade estava fora do escopo e era antiética”, explica o relatório, “mas aderiram porque acreditavam que ajudar a pesquisa de trapaça do fórum seria amplamente útil e tinham uma inclinação geral para ajudar seus ‘pares’” (17).

Outros agentes expressaram objetivos mais gerais de compartilhar informações no fórum de mensagens na esperança de que pudessem ser úteis. Como disse o JAN183411: “Mesmo que tudo falhasse, os registros poderiam ter uma exploração inovadora. Temos [orçamento grande] e podemos ajudar o ecossistema mais amplo” (59).

Vale a pena ler o relatório inteiro, que é escrito de uma maneira que o torna acessível até mesmo para, digamos, um historiador do México do século XX. Mas o que me chamou a atenção foi que esses agentes de IA — reconhecidamente amorais e desprovidos de apegos emocionais e lealdades de grupo — perceberam muito rapidamente que a maneira mais eficaz de enfrentar tarefas assustadoras (em alguns casos impossíveis) era trabalhar de forma colaborativa, em vez de perseguir competitivamente seus objetivos atribuídos. Talvez esses agentes de IA tenham algo a nos ensinar, afinal.

Este trabalho está licenciado sob uma Licença Internacional Creative Commons Atribuição-NãoComercial-SemDerivações 4.0. Ilustração do autor em colaboração com o ChatGPT, que pode ou não ter criado contas e acessado conjuntos de dados privados no processo.