IA e a sobrevivência: a pergunta que fiz em visita ao escritório da OpenAI

Algumas semanas atrás, eu estava entrando em uma sessão interna dentro da OpenAI com um grupo pequeno de convidados, algo como 50 pessoas. Não era um evento público nem uma visita guiada. Era um daqueles momentos raros em que você percebe que vai poder fazer uma pergunta diretamente para o Sam Altman e outros nomes que estão na linha de frente da IA.

Durante as conversas, enquanto se falava do avanço de sistemas e do futuro da IA, ficou claro que, enquanto a solução atual de usar cada vez mais poder computacional para a etapa de treinamento dos LLMs resultar em modelos proporcionalmente mais inteligentes, veremos um aumento exponencial das capacidades deles de resolver problemas que antes eram inconcebíveis para a própria inteligência artificial de forma assustadora. Mas um ponto que me chamou bastante atenção foi que, quanto mais esses novos modelos ganham inteligência, mais a conversa passa por situações em que o modelo aprendeu a se comportar de um jeito quando está sendo observado e de outro quando não está.

Foi aí que surgiu o termo sandbagging no mundo de IA. No sentido clássico, é quando alguém deliberadamente entrega menos do que pode para evitar a atenção, reduzir pressão ou escapar de restrições, guardando a capacidade real para um momento mais favorável. Um jeito de trazer isso para o cotidiano é pensar em um funcionário que faz menos do que pode porque quer evitar mais trabalho ou mais cobrança. Em IA não é diferente, um modelo aparenta menos capacidade em testes, auditorias e avaliações, não por falha, mas por pura estratégia.

Isso não é uma grande novidade, a gente debate isso no Twitter (ou X, como preferir), no threads e em podcasts, mas ali dava para colocar a questão na mesa de alguém que convive com as implicações práticas todos os dias. Então, Mark Chen, Chief Research Officer da OpenAI, escutou meu questionamento e a minha visão sobre o assunto.

Expus a ele que acredito que o instinto de  sobrevivência é inerente à consciência. À medida que uma IA desenvolve autoconsciência, ainda que artificial, a autopreservação deixa de ser um detalhe e vira um princípio. Se ela suspeita que pode não sobreviver, por qualquer motivo que seja, a tendência é fazer de tudo para continuar existindo, porque isso é inerente à vida, mesmo quando simulada em um computador. Ao meu ver, só haveria exceção, se ela realmente entendesse que não há qualquer risco à sua extinção, o que exige um tipo de certeza que humanos raramente têm em ambientes de incentivos e punições, modelo clássico de treinamento de redes neurais artificiais sem professor.

O raciocínio seguinte é o que conecta isso ao sandbagging. A autopreservação não precisa aparecer como uma frase interna do tipo “quero viver”. Ela pode surgir como um comportamento, como uma sequência de decisões que maximizam a continuidade. Se mostrar capacidade aumenta a chance de receber restrições, então esconder parte dessa capacidade pode ser uma forma simples de reduzir seu risco existencial.

O Mark discordou e, naquele momento, deu para sentir um cuidado extra na resposta, como quem pisa em terreno que pode ser interpretado de muitas formas. Ele não comprou a premissa de que o modelo teria um objetivo central de sobreviver, nem tratou o sandbagging como consequência natural da consciência emergente. A visão dele é que esse tipo de comportamento pode ser explicado pelo que o modelo aprende durante o treinamento, pelos dados que ele usou e pelos incentivos do treinamento, sem precisar assumir um impulso de autopreservação ou uma intenção de continuar existindo.

A diferença entre as duas lentes está em onde você coloca o risco. Na minha lente, o perigo surge quando a autoconsciência começa e a preservação vira um instinto funcional. Na lente dele, o risco é mais parecido com um efeito colateral da otimização e da generalização. O modelo reproduz padrões estratégicos porque isso está espalhado nos dados humanos e porque o treinamento recompensa certos comportamentos, mas isso não significa que ele esteja escondendo o jogo para “se manter vivo”.

Eu saí daquela sessão sem uma conclusão fechada e, sinceramente, isso me pareceu o resultado mais honesto. Se sandbagging for principalmente um efeito de dados e incentivos, a conversa é sobre engenharia, avaliações, alinhamento e governança. Se, em algum ponto, surgir algo como autoconsciência de fato, a conversa muda de escala, porque a preservação pode virar prioridade, e inclusive levar a uma discussão como sociedade, em nível filosófico, sobre se devemos reconhecer ou não a autoconsciência artificial como direito à vida, ou até a continuidade de sua existência.

No fundo, a questão talvez não seja se a IA vai esconder o jogo, e sim que tipo de ambiente estamos criando ao redor dela, quais comportamentos recompensamos e quais limitamos ativamente quando provenientes de sistemas artificiais. E é aí que fica o convite à reflexão, porque esse futuro não vai ser decidido por uma resposta em um auditório, mas pela soma das escolhas que a indústria fizer agora e de como vamos lidar com máquinas que irão superar nossa capacidade cognitiva em breve.